La construction du premier château et du donjon date vraisemblablement du début du XIVe siècle, car à cette époque naît un besoin de protection au milieu des conflits entre les comtés de Flandre et de Hainaut.
Le château actuel fut bâti vers 1630 sur les fondations du premier château.
Aujourd’hui, une drève bordée de marronniers conduit à l’entrée de la cour d’honneur. Au-dessus de la porte se trouve une pierre bleue rectangulaire portant les armes des de Cottrel avec la date 1630 entourée d’une bande de laurier. On y lit : «C’est mon destin Jenne de Cottrel 1630».
La vieille forteresse fut restaurée par la célèbre famille des de Cottrel sur les plans des châteaux français de l’époque. On y arrive par un pont en pierre lancé au-dessus d’un large fossé. Les anciennes fondations subsistent. La façade, simple mais imposante, est percée d’une vingtaine de fenêtres très hautes. Le toit est couvert d’ardoises. Deux tourelles flanquées de meurtrières et de petites lucarnes placées sur les extrémités lui donnent de la majesté. Le château est habité depuis le XVIIIème par la famille d’Yve de Bavay.
Les dépendances et la ferme du château ainsi que la chapelle Saint-Joseph (située à l’ouest, à l’aboutissement de deux drèves) complètent remarquablement le site.