Dit kasteel dateert uit het einde van de 17e eeuw en was de residentie van de graaf van Bryas, heer van Fumay die in 1689 de heerschappij van Fumay had gestolen van de prinsen van Chimay.
Verkocht in de 19e eeuw (1825) aan een ondernemer die er een witkalk- en witloffabriek oprichtte, werd het gebouw in 1837 eigendom van de leisteengroeve Moulin Saint-Anne. Dat zou hij blijven tot het bedrijf in 1946 werd geliquideerd.
Het gebouw werd in 1951 gekocht door de stad Fumay.
Het kasteel van de graven van Bryas werd in 1972 opgenomen in de aanvullende inventaris van historische monumenten.
Een pad genaamd de Jordaan is toegankelijk door de trap aan de rechterkant van dit gebouw af te dalen. Hierdoor hadden mijnwerkers toegang tot de leisteengroeve van Moulin Ste Anne. Als we erlangs lopen, kunnen we aan de andere kant van de Maas de steunmuren van de leisteengroeve Belle Rose zien.
Wij spreken Frans