El Castillo de la Triste Condesa, también conocido como  Castillo de Don Álvaro de Luna o Castillo del Condestable Dávalos,  es el monumento más antiguo de Arenas. Fue construido por orden del condestable Rui López Dávalos a finales del siglo XIV y comienzos del siglo XV. Destaca su gran torre del homenaje.

Este castillo singular, situado en el centro de la populosa villa de Arenas de San Pedro, tiene fábrica de mampostería granítica y planta cuadrada, con torres semicirculares en los ángulos y cuadradas en la mitad de tres de sus lienzos, estando el cuarto ocupado por la torre del homenaje. Ésta cuenta con cuatro pisos en su interior, así como balcones superiores con matacanes en el centro de sus caras.

En el interior, como en la mayoría de los castillos, el patio de armas aparecía rodeado de las dependencias construidas; unas para cuadras y almacenes, cocinas, otras para estancias de los servidores; en la planta alta era donde residía la nobleza.

La presencia de ventanas geminadas, enmarcadas algunas por un ajimez, especialmente en la torre del Homenaje, y los arcos de las crujías para sostener las bóvedas que quedan en pie muestran el carácter de obra de transición entre el románico y el gótico.

Las mazmorras de este castillo se encontraban en estancias subterráneas de la torre.

Aunque en un principio está concebido para la defensa, posteriormente pasa a ser residencia señorial, como parece indicar algunos elementos decorativos de su construcción, entre ellos las ventanas ajimezadas con columnas ochavadas.

Lo edificó el condestable Ruy López Dávalos entre 1395 Y 1423. En los últimos siglos el castillo fue muy mal tratado, sufriendo sendos incendios a manos de las tropas napoleonicas y de las carlistas en el siglo XIX.

También sirvió de cementerio de la villa y se intentó en el siglo pasado, reconvertirlo en plaza de toros y hasta en hotel, proyectos que no llegaron a relizarse.

Sirvió de prisión y de cementerio. Ahora es Museo, Sala de exposiciones Sala de congresos y Auditorio municipal en período estival.
En 1835 su entonces propietario el duque de Pastrana, cedió el castillo al municipio a cambio de una fanegada (alrededor de 55kilos ) de trigo al año.

La Torre del Homenaje y el Adarve restaurado (29 de julio de 2006) están abiertos al público como museo, sala de exposiciones y sala de congresos desde donde el visitante hará un recorrido por la historia y disfrutará desde el adarve de unas vistas espectaculares e inolvidables de la ciudad de Arenas, su densa vegetación y la altiva serranía de Gredos.

Declarado Monumento Histórico Artístico en 1931.
 

El condestable Dávalos consiguió la segregación de las aldeas del Valle del Tiétar del Alfoz de Ávila en 1393 y poco después, en 1395, alcanzó la gracia de que pasasen a engrosar sus señoríos. Como muestra de su poder y para control del mismo mandó edificar un castillo fortaleza en la parte baja del pueblo, para aprovechar la proximidad del río como elemento defensivo. Se levantó con el esfuerzo del pueblo ya que el vecindario del Valle fue obligado a contribuir, además de con sus tributos económicos en dinero, con su esfuerzo personal y con la aportación de sus caballerías y carretas.

El impuesto seguía en pie incluso después de haber sido acabada la fortaleza, ya que hay documentos, en 1423, en los que aparecen las quejas de los vecinos por tener que pagar impuestos para la construcción de la fortaleza cuando estaba ya acabada. La caída del poder del Condestable Dávalos en 1423 permitió que el dominio señorial sobre Valle del Tiétar se fragmentase y, en vez de ser de un solo señor, pasase a manos de varios recayendo el señorío de Arenas en la familia de Pimentel, condes de Benavente; cuya hija Doña Juana de Pimentel se casó con Don Álvaro de Luna aportando el castillo y el señorío de Arenas como dote. El castillo se convirtió en una de las residencias importantes del matrimonio. Después de la muerte de Don Álvaro, la Triste Condesa (como se empezó a llamar Doña Juana) habitó en el Castillo.

Fallecida doña Juana, pasó a ser propiedad de su hija, María de Luna casada con el primogénito de los Duques del Infantado. En 1461 doña María dio a luz en el castillo arenense a don Diego Hurtado de Mendoza "el Grande", mecenas del Renacimiento.

Fue comprado por el Ayuntamiento en 1853 al Duque de Pastrana.

A lo largo de los años, el castillo ha tenido diferentes usos, pero decididamente a partir de los años 70 del pasado siglo, el patio de armas se viene utilizando como espacio mágico para actuaciones culturales y festivas.