El Palacio de los Pimentel, actual sede de la Excma. Diputación Provincial, fue comprado por ésta en 1875. Perteneció primeramente al Marqués de Astorga y posteriormente a Don Bernardino Pimentel, así como a los Condes de Rivadavia y los Marqueses de Camarasa. Carlos I lo ocupó varias veces y vio nacer entre sus muros al Príncipe Don Felipe, que reinaría con el título de Felipe II.

El Palacio hace esquina, asomándose a la calle de las Angustias y a la calle Cadenas de San Gregorio, en una de las zonas más nobles de la ciudad, pudiéndose contemplar desde sus balcones el antiguo Palacio Real y la Iglesia de San Pablo y apenas a cien metros del Colegio de San Gregorio, inmejorable marco del Museo Nacional de Escultura.

Fabricado en ladrillo, salvo la esquina y la portada, que son de piedra, en su ángulo se levantan una torre de moderada altura. Al extremo de su fachada principal, que da a la calle de las Angustias, se ha trasladado una puerta renacentista con arco de medio punto, que da acceso a la Sala de Exposiciones.

La puerta principal se abre mediante arco carpanel. El zaguán es de amplias proporciones, desembocando en el patio por puerta desenfilada. El patio conserva columnas en los cuatro lados del piso inferior, con capiteles de muy simple labra.

Lo más sobresaliente de su exterior es la ventana plateresca situada en la esquina del palacio, con motivos escultóricos estrechamente relacionados con la manera de Diego de Siloé.

En su interior se han instalado dos notables artesonados, uno de planta casi cuadrada, procedente del Colegio de San Gregorio, de finales dei siglo XV y el otro también mudéjar y en forma de artesa, procedente de la parroquia de Villafuerte de Esgueva.