Zu Beginn des 16. Jahrhunderts wurde das Schloss Zeil von Truchsess Froben Waldburg-Zeil gebaut. Er verstarb 1614 vierundvierzigjährig während eines Gottesdienstes in der Stiftskirche.

An der Stelle des heutigen Schlosses stand eine kleine Burg aus dem Jahr 1123, die aber 1598 abgerissen und stattdessen das Renaissance-Schloss gebaut wurde. Im Unteren Hof sind noch heute Reste der alten Burg zu sehen.

Das Schloss thront auf einem über 750 m hohen Bergsporn. Man kann es schon vom Weitem sehen. Es ist im Besitz der Familie von Waldburg-Zeil.

Seit 1337 bis heute residieren die Grafen und Trochsessen, später die Fürsten von Waldburg in diesen Gemäuern.

Zu besichtigen sind nur die Außenanlagen, von denen man bei guter Sicht einen herrlichen Ausblick bin zu den Alpen genießen kann von der Zugspitze bis zum Säntis hinter dem Bodensee.