"T'Houtbaaitjen" bedeutet Holzbucht und ist der Name, den Jan van Riebeeck dem heutigen Hout Bay 1652 gab. Hier endet die Küstenstraße. Den industriellen Aufstieg hat Hout Bay allerdings nicht dem Holz, sondern dem Fischfang und dem Export von Fischkonserven zu verdanken.