Un logis noble est attesté à cet endroit dès le XVI^e siècle. En 1662, le seigneur de Bry, François Ours-Miron, y transfère le siège de la seigneurie de Bry et procède à de nombreuses transformations. Le château est entièrement reconstruit au milieu du XVIII^e siècle par Etienne de Silhouette (1709-1767) contrôleur général des Finances puis ministre d’Etat sous Louis XV, dont le patronyme est devenu un nom commun. Détruit par des bombardements en 1870, il est reconstruit en 1872. Il est aujourd’hui la propriété de la congrégation des soeurs de Saint-Thomas de Villeneuve et accueille un établissement scolaire.