Die Angehörigen der jüdisch-portugiesischen Bankiersfamilie Pinto waren die Rothschilds des Goldenen Zeitalters. Um 1651 kauften sie dieses Wohnhaus gegenüber des Zuiderkerkhofs, das 1605 für einen Kaufmann der VOC errichtet worden war. Seine heutige klassizistische Fassade erhielt das Haus erst 1681. Im 20. Jh. verfiel der Bau, inzwischen ist er jedoch restauriert und dient als öffentliche Bibliothek. Im Eingang und im Lesesaal kann man noch immer die wunderschönen Wand- und Deckenmalereien aus dem 17. Jh. Bewundern.