Am Rand des Fischmarkts thronte ursprünglich die Burg des Dominikaner Ordens. Aufgebrachte Rechtstädter stürmten und schleiften sie 1454, als die Freie Stadt sich mit polnischer Hilfe gegen die verhassten Mönchsritter erhob. Anstelle der Burg wurde zum Schutz des Platzes der backsteinerne Schwanenturm erbaut, der dort zusammen mit Resten der mittelalterlichen Stadtbefestigung heute noch steht.