Die Burg zu "Tüssen" befand sich im 12. und 13. Jahrhundert sowie von 1339 bis 1510 im Besitz des Grafen von Kirchberg.
Nach etlichen Besitzwechseln zu Graf von Montfort und zu Ritter Schweikhard von Gundelfingen erwarb im Jahr 1520 die Memminger Patrizierfamilie Vöhlin die Burg.
Im Jahre 1526 erbaute Erhard II. aus der Frickenhauser Linie das Hintere Schloss.
Im Jahr 1549 brannte es ab, wurde aber wieder aufgebaut, aber im Dreißigjährigen Krieg wurde es wiedereum schwer verwüstet.
Die Vöhlinherrschaft endete nach 236 Jahren wegen Insolvenz. Kurfürst Max Joseph von Bayern übernahm das Schloss im Jahr 1756.
Nach dem Zweiten Weltkrieg zog das Finanzamt, das Amtsgericht und das Landratsamt ein.
Das Hintere Schloss wird auch seit 2010 als Tagungszentrum der Hochschulen Augsburg, Kempten und Neu-Ulm genutzt.
In die Geschichte der Familie Vöhlin kann im dortigen Heimatmuseum eingesehen werden (im Vorderen Schloss) und im gleichen Gebäude befindet sich das Bienenmuseum.
Mai 2015