Najneskôr v 15. storočí postavili Zayovci na vyvýšenej terase opevnenú kúriu. V roku 1613 kaštieľ neskororenesančne prebudovali. Mal pravidelný pôdorys s dvorom prístupným podjazdom, nad ktorým bola veža. Rôzne stavebné zásahy boli vykonané v 17. storočí, v 18. storočí bol barokizovaný. V roku 1767 bol prebudovaný na reprezentačné sídlo. V roku 1904 bol romanticky upravený podľa historických predlôh.
Kaštieľ je trojpodlažná budova s nepravidelným pôdorysom, skladá sa z jednotraktového hlavného krídla, otvoreného do dvora arkádami, zo spojovacieho dvojtraktového krídla, situovaného diagonálne na hlavné krídlo a z dvojtraktového krídla, ktorého záhradná fasáda má nárožné vežové rizality. Severovýchodné a juhozápadné krídlo spojuje štvorcová veža. Má hladké fasády, členené iba kordónovými rímsami. Nad vchodom do renesančnej časti je erb s letopočtom 1613.
V miestnostiach sú renesančné a barokové klenby. Na prízemí juhozápadného krídla otvorené arkády, pod ktorými sa zachovali renesančné kamenné portály. Na prvom poschodí juhovýchodného krídla sa zachoval renesančný kamenný portál z 1. tretiny 17. storočia, vo východnej miestnosti tohto krídla ďalší, ozdobenejšie riešený kamenný portál s rastlinnou a ovocnou ornamentikou; v ostení má iniciálky v kartuši.
V kaštieli sa zachovalo pôvodné barokové zariadenie knižnice s vypuklými, do steny vstavanými skriňami, z polovice 18. storočia.
Vo dvore je okrúhla studňa s mrežou a kuželovou strieškou, z konca 18. storočia.
Kaštieľ je v súčasnosti (december 2007) mierne zdevastovaný, s porozbíjanými oknami. Strecha je však opravená a tiež časť fasád. Verejnosti nie je prístupný.
Takmer priamo pod kaštieľom sa nachádza rodný dom Ľudovíta Štúra a Alexandra Dubčeka z ktorého je v súčasnosti múzeum.