El Castillo o Fuerte de San José se localizaba sobre la peña de Gálvez, actualmente llamada punta del Castillo. Su misión era defender los puertos naturales de los Genoveses, el Sollarete y Cala Higuera.
Las obras se iniciaron en septiembre de 1733 y concluyeron en mayo de 1735. El edificio de dos plantas y grandes dimensiones contaba con tres baterías con capacidad para catorce cañones de diversos calibres. En su planta baja estaba la capilla, cuarteles para los soldados y el sargento, cantina, panadería y horno, almacén de pólvora y pertrechos, cárcel y lugar común. En la segunda planta se encontraban los aposentos. A la fortaleza se accedía por puente levadizo que salvaba el foso. Después de la guerra de la independencia el fuerte quedó en mal estado y la falta de inversiones la fue arruinando poco a poco.
En 1849, prácticamente en ruinas, fue traspasado al cuerpo de Carabineros. En 1941 los restos del castillo pasaron a depender de la Guardia Civil. En 1973, sin tener en cuenta la ley que protegía todos los castillos del territorio español desde 1949, se edificaría sobre las baterías del fuerte, el edificio de la casa-cuartel de la Guardia Civil de San José. Sólo quedan, como testigos, los muros redondeados que le sirven de base, incrustados en las rocas.
Plano histórico del Fuerte de San José
Plano histórico del Fuerte de San José
 |
| Plano del castillo. |
 |
| Declarado Bien de Interés Cultural con la categoría de Monumento. |
 |
| Sólo quedan, como testigos, los muros redondeados que le sirven de base, incrustados en las rocas. |
