Fue construido entre los años 1860 y 1870 como residencia de verano por Antonio de Orleans y María Luisa Fernanda de Borbón, a la sazón Infantes de España y Duques de Montpensier.

Para su construcción se aprovechó la estructura de numerosos edificios ya existentes, a los que se dio un “envoltorio” común. Por ello carece de ejes de simetría axial y coaxial. Está construido según un estilo historicista y ecléctico propio de gran parte del siglo XIX; usándose en sus fachadas el estilo neomudéjar y el clasicismo italianizante. En la decoración de sus salas interiores se recurrió a multitud de estilos historicistas (neomudéjar, rococó, chinesco, egipcio, inglés, etc). Por ello puede considerársele un auténtico capricho, en el sentido romántico del término. Para el diseño de sus jardines de tipo inglés se emplearon botánicos franceses de fama.

Hoy en día es la sede del ayuntamiento de Sanlúcar de Barrameda y se le conoce con el nombre de Palacio Municipal.