Das Schloss über der Stadt - als "castrum" 1269 erstmals erwähnt - war Burg, Festung, Gefängnis sowie Heil- und Pflegeanstalt. Heute beherbergt es u. a. das Landratsamt. Die Terrassengärten bieten schöne Aussichten über die Stadt, die Bastionen sind bei Führungen zu besichtigen. In einem Gebäudekomplex auf der Ostseite der Heilanstalt ermordeten die Nationalsozialisten 1940/41 etwa 14.000 psychisch Kranke und Behinderte. Eine Gedenkstätte erinnert an die Verbrechen der sogenannten "Aktion T4".