Nördlich von Immenstadt befindet sich die ehemalige Burg Laubenbergerstein. Die Höhenburg wurde wohl bereits im 12. Jahrhundert durch die Bischöfe von Augsburg begründet. Sie war eine der wichtigsten und stolzesten Burgen im Allgäu und sollte mit ihrer Befestigungsanlage den wichtigen Illerübergang und die dazugehörige Zollstation schützen.

Seit 1559 ist die Burg nicht mehr bewohnt und dem Verfall preisgegeben. 1977 erwarb der Heimatverein Immenstadt die Ruinen und begann unter Beteiligung der Stadt Immenstadt mit der Restaurierung.