Dès le début, les niçois l'ont surnommé "La Folie de l'Anglais" ou "La Folie Smith" du nom de son constructeur : le colonel Smith. Construit en 1856.
Véritable colonel de l'armée de l'Armée des Indes. A son arrivée à Nice, il achetât un terrain de 22 000 m² dominant le port à l'extrême pointe du Cap de Nice. Les travaux durèrent 4 ans et coûtèrent une fortune.
Un journaliste de l'époque raconte : "Le colonel Smith n'a rien négligé pour arriver au but qu'il se proposait. C'est par millions qu'il faut chiffrer ses dépenses. Il a creusé, taillé, percé les rocs abrupts sur lesquels le château est construit. Là où jadis on ne voyait que pierres et cailloux, on aperçoit maintenant des voies larges et aisées. On descend de deux façons à la mer, par une route et par un escalier de 200 marches, ponctué de distance en distance, soit d'un pavillon, soit d'un abri, soit d'une terrasse où se reposer sur des bancs de marbre pour admirer le paysage."