Im Rücken der lang gestreckten Orangerie mit ihren hohen Fenstern, dem Zitrushaus und dem Kräutergarten sowie einem schönen Café liegt der Hofgarten mit alten Bäumen und Beeten, die nach historischen Vorlagen gestaltet werden. Ein Gedenkstein markiert die Stelle, an der Kaspar Hauser zu Tode kam.