La construction du château a débuté dans la denière décennie du XVI° siècle, vers 1594. Il a fallu d'abord assainir et remblayer l'ancien marais du "bout d'Agnou", en bordure de la Mauldre. Nicolas Harlay de Sancy, héritier du titre de baron de Maule, avait mis sa fortune et ses talents au service du roi Henry IV. Son projet était ambitieux. On en retrouve la trace sur certains documents de l'époque ainsi que sur ce qui demeure des anciennes fondations. Sur une bute étayée de pieux de chênes impustrescibles, il voulait bâtir un immense quadrilatère, flanqué de quatre tours, et dont la façade, orientée au sud, donnerait sur le bourg et l'église Saint Nicolas. Seuls un vaste bâtiment d'environ soixante mètres sur dix et une tour, l'actuel colombier, sortiront de terre. Les héritiers de Nicolas et de son épouse Marie Moreau ne pourront en conserver la propriété, il sera vendu en 1638 au sieur de Bullion, surintendant des Finances et garde des sceaux. Puis le château passa de mains en mais au hasard de successions et de ventes, pour se retrouver, à la veille de la Révolution, parmi les possessions d'un noble autoritaire  et arrogant, le marquis de Boisse, qui prendra le chemin de l'exil en 1792. Mutilé, le château, devenu bien national, sera vendu en 1793 à Nicolas Françsois Fréret et finalement récupéré par son ancien propriétaire en 1812. Il appartiendra ensuite à la famille de Maule Plainval, puis, à partir de 1876, à la famille de Balagny. Transformé en hospice lors de la première guerre mondiale, occupé par la Wermarcht lors de la seconde, il sera abandonné dans les années 60. Il souffrira alors du vandalisme et des intempéries. Sauvé par ses nouveaux propriétaires, à l'aube des années 80, il est toujours en cours de réhabilitation. Propriété privée, le château est ouvert à la visite, notamment lors des journées du Patrimoine.

LE COLOMBIER
Le colombier, qui compte plus de trois mille boulins ou niches, pouvait accueillir six mille pigeons, ce qui en faisait un des plus important d'Ile de France. Le prililège seigneurial d'élevage, très dommageable aux cultures, a été aboli en 1790 et le pigeonnier n'abrite plus désormais que quelques chouettes et une famille de faucons crécerelles.