Cazorla besitzt zwei Festungen. Das auf die Mauren zurückgehende Castillo de la Yedra überragt auf einem Bergrücken die Plaza de Santa María und beheimatet heute das interessante Museo del Alto Guadalquvir (Museum der Volkskunst). Die Templerburg La Iruela liegt an der Straße zum Naturpark.