Viscount Fitzwilliam hinterließ der Universität 1816 seine wertvolle Sammlung europäischer Malerei, griechischer, römischer und ägyptischer Skulpturen und chinesischen Porzellans. Später kamen Bilder der Impressionisten dazu, antike Möbel und Waffen. Der Bau des neoklas- sizistischen Gebäudes wurde 1837 begonnen. Es war eines der ersten öffentlichen Museen des Lands.