15 m über dem Meer erhebt sich am Rand der südlichen Altstadt von Pythagório auf einer Kastélli genannten Anhöhe ein wehrhafter Festungsturm, auch Logothétis-Burg genannt. Der Anführer der samiotischen Aufständischen ließ ihn 1822 unter Verwendung vieler antiker Quader errichten, denn die Türken versuchten, Sámos zurückzugewinnen. Im 6. Jh. v. Chr. hatte an dieser Stelle aller Wahrscheinlichkeit nach der Palast des Polykrates gestanden. In der hellenistisch-römischen Zeit wohnten hier Vornehme in ihren prächtigen Villen. Im 5. Jh. erbauten Christen eine große Basilika. Über deren Trümmern entstand im Mittelalter schließlich eine byzantinische Burg mit kleiner Kapelle. Mauerspuren von all diesen Bauten aus der Vergangenheit sind noch am Ostrand des Friedhofs zu erkennen, der sich zwischen der Logothétis-Burg und der benachbarten Hauptkirche Pythagórios erstreckt. Die Burg selbst wurde restauriert und als Museum eingerichtet, das die Geschichte von Sámos dokumentiert.