Die Ruinen der einstmals eindrucksvollen Burgen Hugofels und Rothenfels schmiegen sich malerisch zwischen Immenstadt und dem Alpsee. Als beeindruckendes Duo einer Doppelburganlage entstanden sie im 13. Jahrhundert und liegen lediglich 170 Meter voneinander entfernt. In der Historie tauchen sie erstmals im Besitz von Rudolf von Habsburg im Jahre 1273 auf. Später, im Jahr 1332, wechselten sie ihren Besitzer und gingen an die Grafen von Monfort-Tettnag über, um schließlich im Jahr 1440 in den Besitz von Graf Hugo XIII. von Monfort überzugehen.

Die Ära zwischen 1465 und 1485 markierte einen entscheidenden Wandel für die Burgen, als sie nach einem verheerenden Brand in prachtvoller Präsenz wiederauferstanden. Die Wirren des Deutschen Bauernkrieges vermochten es nicht, die Burgen einzunehmen, trotz erfolgloser Belagerungsversuche. Nachfolgend wechselten die Burgen in den Besitz der Grafen von Königsegg-Aulendorf, doch diese bevorzugten das städtische Leben, und so begann der unaufhaltsame Verfall der einst stolzen Anlagen. Das 19. Jahrhundert sah die Stadt Immenstadt, die schließlich die Überreste der Burgen erwarb und behutsam freilegte. Heutzutage zeugen die Ruinen nur noch von spärlichen Mauerresten ihrer einstigen Pracht. Insbesondere bei der Ruine Hugofels ist die erhaltene Südmauer bemerkenswert, ebenso wie der vollständig intakte Brunnenkeller, der durch einen runden Schacht bewundert werden kann.