Dieses an der Stadtmauer errichtete Zeughaus ist ein schlichter Zweckbau aus dem 16. Jh. mit einem vermutlich älteren Eckturm - hier lagerten die Waffen der Stadt. Ob das Gebäude - wie der Name vermuten lässt - im Mittelalter tatsächlich die Burg des Herzogs war, ist umstritten.