Die Festungsanlage, in der zeitweise der staufische Staatsschatz aufbewahrt wurde, ließ Friedrich II. 1233 errichten. Aus dieser Zeit stammt noch das Turmkastell. Die restlichen Bauten, wie der 900 m lange Mauerring mit den Türmen, entstanden gut 40 Jahre später unter Karl I. von Anjou.