Ab 1400 war Pewsum Sitz des Häuptlingsgeschlechts der Manninga. Aus dieser Zeit ist die 1458 errichtete Unterburg erhalten, das Torgebäude entstand erst rund 100 Jahre später. Das gelb getünchte Ensemble wird malerisch von einem Wassergraben umspült, was es als Standesamt sehr beliebt macht.