El Castillo de San José se terminó de construir en 1779. Para su emplazamiento se eligió el pequeño promontorio de la Cueva de Inés, cuya altura sobre el nivel del mar es de unos 8 metros. La obra estuvo a cargo del ingeniero Alfonso Ochando.

Originalmente este castillo tenía doble finalidad: de defender el Puerto de Naos y sus riberas inmediatas, así como de paliar el estado de profunda indigencia por la que atravesaba la isla, dando trabajo a sus habitantes, razón por la cual ha sido conocido también por el sobrenombre de Fortaleza del Hambre.

La solidez de su estructura, lograda a base de sillares de basalto y mortero, ha hecho que el edificio se conserve en buenas condiciones, pese a su antigüedad. Su planta es semicircular y las estancias se distribuyen en dos pisos, con la particularidad de que la puerta exterior de entrada se abre en el de arriba debido a que el piso inferior queda bajo la costa del terreno en el que se asienta el castillo.

Salvado el foso a través del correspondiente puente levadizo, se penetra en una espaciosa nave corrida de bóveda de cañón. De esta primera dependencia se baja por una angosta escalera, que se inicia a la izquierda del portalón de entrada, a otra sala de parecidas características, situada debajo de la primera, y por otra que está frente a la anterior se sube a la azotea. Más allá de estas dos naves principales superpuestas hay otras estancias menores que estaban destinadas a almacén, depósito de la pólvora y mazmorras, además del aljibe en que se guardaba el agua para el consumo de la guarnición.

Al valor histórico de esta ribereña fortaleza de la isla hay que añadir el adquirido modernamente como Museo de Arte Contemporáneo. En 1976 se remataban las obras de acondicionamiento a que fue sometida para adecuarla a su nuevo cometido cultural. Este venerable edificio que servía otrora para albergar tropas y disponer aprestos militares, hermosea hoy sus dependencias con cuadros y esculturas de los más significativos artistas contemporáneos.

El castillo además ha sido complementado con un anexo destinado a bar-restaurante, al que se accede desde el interior a través del aljibe por una escalera abierta. Desde sus amplias cristaleras se domina la panorámica de los puertos, el pesquero de Naos y el comercial de Los Mármoles por el que desfilan lujosos transatlánticos de todas las banderas del mundo, que tienen a Lanzarote como meta irrenunciable de sus cruceros turísticos.