El espacio que ocupa el Castillo de Dalt Vila acogió la sede del Gobierno de la isla prácticamente a lo largo de toda su historia. En su interior se encontraba la Casa del Gobernador, donde residían los responsables militares de cada época. Púnicos y romanos hicieron de este espacio su acrópolis y los árabes establecieron en él la Almudaina (residencia gubernativa) y el Castillo (cuartel militar).

Los edificios que hoy pueden contemplarse son originales de los siglos XVI y XVIII, aunque fueron edificados sobre las instalaciones musulmanas. El conjunto está formado por el Castillo, la Torre del Homenaje y la Casa del Gobernador, que hasta el año 1973 fueron utilizados por el ejército. A partir de entonces, pasaron a ser de propiedad municipal y en la actualidad se encuentran en proceso de restauración para su conversión en Parador de Turismo, hecho que impide su visita.