Die Altstadt zwischen dem Fluss Alz und dem Schlossberg besteht aus einer langen und sehr engen Häuserzeile. Den besten Eindruck der Trostberger Bauweise vermittelt der Blick von jenseits der Alz: Man sieht die gotischen Bürgerhäuser von hinten, verschieden breit, des Berghangs wegen unterschiedlich hoch und im Gesamtarrangement von malerischer Unbekümmertheit. "Trostberger Orgel" haben die Einheimischen das bunte Auf und Ab treffend genannt.