Weit weg von London hatten die Fürstbischöfe besonders viel Macht. Die Burg diente ihnen bis 1832 als Palast, von hier aus regierten sie das Land wie Könige. Im 19. Jh. wurde die Universität von Durham gegründet, und Durham Castle wurde das erste College. Auch heute wohnen hier Studenten.