Mandado construir por D. Fernando de Silva y Álvarez de Toledo, y obra del arquitecto Jacques Marquet, traído a España por el duque para edificar el palacio de estilo barroco francés, se construyó donde estaba el antiguo castillo de los Álvarez de Toledo.

Las obras se realizan entre 1755 y 1766 sobre el solar que ocupaba el antiguo castillo de los Álvarez de Toledo, que por entonces se encontraba, según documentos de la época, en estado ruinoso.

Para su fábrica se empleó fino granito color grisáceo azulado, que procede de las canteras de Valdemolinos (anejo de Santa María del Berrocal).

Sobre planta en forma de U, tiene tres plantas: sótano, planta primera y planta segunda,

Tiene una red de galerías que se pueden dividir en tres grupos, según su sección.

El palacio abre única puerta en su fachada principal, sobre la que aparece labrado el anagrama “F.S”, (igual a Fernando de Silva). Habría otra puerta que conducía a los jardines y la escalera principal que accedía a la segunda planta.

Se completa con dos patios, uno de armas, delante de la fachada principal y otro posterior continuado de parterres, fuentes y estanques al más propio estilo versallesco que hoy es parque municipal.

La torre del reloj, separada del palacio, combina piedra y ladrillo, que recuerda al barroco madrileño. Algunos estudiosos lo relacionan con el telégrafo óptico.

A la izquierda de palacio se encuentran las cocinas y caballerizas aún hoy reconocibles.

El palacio tenía un recinto amurallado con varias entradas bien labradas, especialmente la principal que da al patio de armas “magnifico y elegante patio cuadriculado”, cerrado de elevado muro de mampostería coronado de sillería.

La puerta principal de este patio está formada por muro almohadillado, alabeado cóncavo en sentido del visitante, en cuyos extremos se alzan las dos casas porterías, construidas en sillería, cubierta de teja (antiguamente de pizarra).

También son destacables las puertas de coches en los flancos del patio, que permiten el paso de una cañada de ganado (siempre protegida) el murallón del parque del lado occidental, la casa de distribución de aguas y el puente de las azucenas, de interesante construcción y así llamado porque se cerraba con puerta de forja de dichas flores que hoy ha desaparecido.