Als die letzte große Sanierung in der Obergasse 2 anstand, war viel handwerkliches Geschick vonnöten: 1981 ließ das Haus im wahrsten Sinne des Wortes die Hüllen fallen. Dabei kam eine Bausubstanz zum Vorschein, die kaum noch zu retten war. Mit viel Verstand und Vorsicht wurde das Haus entkernt und somit einer Verjüngungskur unterzogen.

Es war nicht der erste Umbau: Mehrere Generationen hatten das Gebäude aus dem Jahr 1480 ergänzt, verändert und ersetzt, denn Kramhandel, Zollverwaltung, Postdienste, Wohnhaus, Cafés und Konditoreien brachten unterschiedliche Anforderungen mit sich. Dadurch ging irgendwann die baulich-statische Sicherheit verloren.

Unbekümmert trafen sich über Jahrzehnte hinweg Menschen von Nah und Fern erst im Café Klingelhöffer, laut einer Werbeanzeige ein vornehmes Familien-Café mit echten Bieren und feinsten Likören, ab den 1960ern dann im Brunnen-Café. Als in den 1970ern die Obergasse zur Fußgängerzone wurde, berichtete die Zeitung von der neuen Stimmung in der Stadt mit „einem Hauch Pariser Boulevards und südländischer Ungezwungenheit“. Denn die neu aufgestellten Sitzgelegenheiten vor dem Café bis hin zum Schwälmer Brunnen luden zum Verweilen ein.

Als dann in den 1980ern die Sanierung anstand verweilte so manch einer etwas länger vor dem Haus Nummer 2 – dieses Mal ohne Sitzgelegenheit, doch nicht weniger unterhaltsam. Ein großer Kran stand mitten in der Fußgängerzone und auf der Rückseite des Gebäudes machte sich ein Bagger an der alten Scheune zu schaffen. Das Gebäude, in dem man jahrzehntelang genüsslich Kaffee trinken und Kuchen essen konnte, war kaum wiederzuerkennen. Nur die Fassade des ersten Stockwerks ist noch die alte, ansonsten wurde das Haus mit viel Liebe zum Detail wieder aufgebaut und modernisiert. So ist wieder das Mezzanin entstanden, ein Zwischengeschoss, das dem „Haus der Mode“ seitdem eine attraktive Warenpräsentation bietet.