Ce château a d'abord été bâti entre 1852 et 1854 par Alfred Geoffroy d'Assy (1799-1868), sur des terres qu'il avait hérité de son père, propriétaire du château voisin de Morionville. Il le lègue à sa nièce Marie de Ferrières, mariée à Arthur Janson de Coët (1822-1906). Ce dernier qui lui donne en 1877 une grosse extension. Marie de Ferrières nièce meurt elle-même en 1913, léguant le château à sa petite-fille Yvonne de Sade (1880-1941), mariée au vicomte Henri d'Argent de Deux-Fontaines (1875-1955). Cette dernière héritière le louera au banquier parisien Roger Lehideux de 1913 jusqu'en juin 1940, date à laquelle le château abrite des soldats français puis allemand. De 1941 à 1943 y résident des sœurs de Saint-Vincent-de-Paul en charge d'enfants, après quoi le château est loué à la SNCF qui y loge à son tour des enfants de cheminots. Peu avant sa mort Henri d'Argent le vend en juin 1955 à une mystérieuse société La Vigie, créée un mois plus tôt par le professeur Yves Rocard, chercheur en physique, considéré comme l'un des pères de la bombe atomique française. Dès lors ce domaine devient le premier centre de recherche du Commissariat à l'énergie atomique dévoué exclusivement aux applications militaires (CEA DAM, Direction des Applications Militaires).