Von der ersten Burganlage, die um 1250/1260 entstand, sind heute noch die mächtige Schildmauer, Reste des frühgotischen Palas und des Torturms erhalten.
Mitte des 14. Jahrhunderts wurde die Burg ausgebaut mit Palaserweiterung, Umbau des Torturms (Burgkapelle). Es kam auch ein neuer Bergfried hinzu und die Schildmauer wurde erhöht.
Ende des 16./Anfang des 17. Jahrhunderts erfolgte der Umbau zum Renaissanceschloss mit der Errichtung des sog. Hatzfeldbaus als neuen Palas neben dem älteren.
Es kamen Gartenanlagen hinzu und mehrere Wirtschaftsgebäude. Auch das malerische Pförtnerhäuschen des mittleres Burgtores wurde gebaut.
Der letzte Hirschhorner Ritter starb im Jahr 1632. Von da an verfiel die Burg sehr schnell.
1768 wurde auch die Schlossbrücke durch einen starken Sturm zerstört.
1815 erfolgte der Teilabbruch des alten Palas und Torturms.
Man begann im Jahr 1884 mit Maßnahmen, die Burg zu erhalten.
1959 fand der Umbau zum Schlosshostel durch das Land Hessen statt.
Hier gehts lang:
Viele Stufen führen hinunter zur Kirche.
Die Herren vom Hirschhorn begannen um 1400 zwischen ihrer Burg und der Stadt eine Kirche und ein Kloster zu errichten. Das Kloster wurde um 1406 dem Karmeliterorden übergeben. Die Kirche wurde Grablage des Geschlechtes und sollte das Ansehen und den Reichtum der Stifter repräsentieren und auch deren Seelenheil dienen.
Im Jahr 1526 wurden die Rechte der Mönche zunehmend beschnitten und der letzte verbliebene Karmeliter des Klosters wurde verwiesen, da sich die Herren vom Hirschhorn der Reformation zuwandten. Die Klosterkirche wurde umgebaut zur protestantischen Kirche.
Der Karmeliterorden prozessierte aber um die Rückgabe des Klosters und bekam 1624/29 das Kloster mit samt der Kirche zurück.
Im 18. Jahrhundert bekam die Klosterkirche einen neuen Hochaltar, dessen von J. M. Düchert geschaffene Figuren zu den bedeutendsten Barockfiguren Hessens zählen. Während der Altar heute zerstört ist, haben sich die Hauptfiguren in der Kirche erhalten. Mit der Säkularisation wurde 1803 das Kloster aufgehoben. Die Kirche, die in der Folge rasch verfiel und 1840 dem Teilabbruch freigegeben wurde, konnte ab 1886 durch die große Opferbereitschaft der Bevölkerung wieder hergestellt werden und 1912 rekonsekriert werden.