Bevor das Cliff House ein Ausflugsziel für die ganze Stadt wurde, residierten hier Präsidenten und Wirtschaftsvertreter. Zweimal brannte das Gebäude ab, bevor es nach vielen Umbauten seine heutige Form erhielt.