Das Schloss wurde im Mittelalter als Zollburg errichtet. Die Mainschiffer mussten hier Tribut entrichten, denn Höchst zählte nicht zu Frankfurt, sondern zum Kurfürstentum Mainz. Heute ist hier u.a. das Museum für Höchster Geschichte untergebracht.