Erste Bauteile des Schlosses wurden vermutlich um das Jahr 1000 errichtet, speziell der Bergfried.

Mitte des 13. Jahrhunderts kamen die Herren von Düren in den Besitz von Külsheim und bauten um das Jahr 1288 das Schloss um.

Im Laufe der Jahrhunderte wechselten die Besitzer mehrfach, bis das Schloss 1842 in den Besitz der Stadt kam. Man wollte dann ursprünglich den Turm abreißen, um die Steine zum Bau neuer Häuser zu verwenden. Der Abbruch gestaltete sich jedoch äußerst schwierig; man hätte das Gemäuer sprengen müssen. Diesem Umstand ist es zu verdanken, dass der Turm als Wahrzeichen der Stadt weithin sichtbar ist.

So wurde 1874 mit dem Ausbau für Schulräume und Lehrerwohnungen begonnen.

Bis 1972 diente das Schloss als Schulhaus für die Volksschule, später Grund- und Hauptschule der Stadt. Seit 1975 ist die Stadtverwaltung im Schloss untergebracht.

April 2025

Unter der Kapellenerkerkonsole sieht man einen Neidkopf aus dem 15. Jahrhundert. Aus dem  Mund wachsen ihm beblätterte Äste.

Direkt darunter zeigt ein kopfüber angebrachter Affe seinen Allerwertesten.

Der sog. Külsheimer Blecker?