Adres: Naast de R.K. kerk, aan de Jan van Brabantstraat te Heusden.
Ontstaan: Het kasteel stamt al van voor 1200.

Geschiedenis: Vanaf deze periode werd er regelmatig uitgebreid en verbouwd, vooral in 1330 en 1550. Het oudste gedeelte was een achthoekige toren, die eerst als verdedigingswerk, en later als kruittoren dienst deed. Deze toren zorgde voor de ondergang van het kasteel. In 1680 sloeg hier de bliksem in, waardoor het kruit tot ontploffing kwam, en het gehele kasteel vernield werd. Dit was overigens niet de eerste keer dat dit gebeurde. In 1666 was al eerder de bliksem ingeslagen, maar het vuur kon vrij snel gedoofd worden, zonder al te veel schade aan te richten.
In de twintigste eeuw werden de funderingen en de muurresten opgegraven en geconsolideerd.

Bewoners: Hertog Jan III liet rond 1330 een aanvang maken met de versterking en vergroting van het kasteel. Diens dochter Johanna, gehuwd met Wenceslaus van Luxemburg, voltooide de vergroting. Willem van Beieren stelde Willem van Croonenburg aan als kastelein van het kasteel.
Toen de twist uitbrak tussen hertog Jan van Beieren en diens nicht Jacoba van Beieren, gravin van Holland, Zeeland en Henegouwen, koos Heusden in de eerste instantie voor hertog Jan. Maar toen in 1420 Jacoba met haar krijgsvolk voor de stad verscheen, opende men de poorten voor haar, bang als men was voor trubbels. Jacoba verbleef een tijd op het kasteel.
In 1447 werd graaf Jan van Nassau, heer van Breda, kastelein te Heusden.
In 1539 was keizer Karel V te gast op het slot, en in 1542 sloeg Maarten van Rossum zijn tenten op voor de stad, maar die trok na een behoorlijke afkoopsom weer verder. In 1549 werden de sleutels van de stad door jonker Gerard Spieringh van Wel, kastelein-drossaart te Heusden.aangeboden aan prins Philips, de latere koning Philips II,
Toen Alva de Nederlanden binnenkwam, stuurde hij een bezetting Albanese ruiters naar Heusden, de zogenaamde ‘Roodrokken,’ o.l.v. ene Nicolao de Basto. In 1569 werden dezen vervangen door een leger Spanjaarden o.l.v. Francisco Vargas.
Na de Tachtigjarige Oorlog werden er tot aan de ramp in 1680 nog verscheidene kasteleins aangesteld.

Huidige doeleinden: Het terrein is min of meer stadspark.
Toegankelijkheid: De ruïne is vrij toegankelijk.