Die Festung wurde 1436 von den Hafisiden erbaut. Diese beherrschten Tunesien von 1229 bis ins 15. Jh. Das Land erlebte unter ihnen eine wirtschaftliche Blütezeit. Sie machten Tunis zur Hauptstadt.1556 eroberte der Korsar Dragut, der Gafsa für einige Jahre besetzte, die Kasbah. Sie diente auch als Schutz vor Nomaden aus der Wüste. 1943 explodierte während eines Luftangriffs das hier untergebrachte deutsche Munitionslager der Truppen Erwin Rommels. Nur die Außenmauern der Kasbah blieben stehen. 1963 wurde dort der Justizpalast gebaut und die Kasbah renoviert. Sie wird heute auch zu Freilichttheateraufführungen genutzt.