Calde tonalità di arenaria, archi eleganti e dettagli rinascimentali rendono l’edificio un perfetto esempio di dialogo tra architettura medievale e rinascimentale.
Il palazzo fu costruito tra il 1571 e il 1588 dal vescovo Berardo Bongiovanni sulle preesistenze medievali dei palazzi del Bargello e di Troppa (i vani seminterrati sono tuttora visitabili), l’edificio si affaccia sulla piazza con un prospetto articolato in tre ordini e un porticato voltato a crociera sorretto da pilastri in arenaria. Alla fine del XVI secolo, i lati nord e ovest della piazza assunsero l’aspetto odierno.
Tra il 1601 e il 1606, sotto il cardinal Del Bufalo, fu realizzata la corte interna: tre arcate aperte sulla valle e un pozzo, mentre il portale d’ingresso venne impreziosito dallo stemma cardinalizio sugli stipiti. Nel 1669 si aprì l’accesso diretto tra il palazzo e la cattedrale. Dopo il sisma del 1799 e la ricostruzione della chiesa in posizione arretrata, fu aggiunto un modulo al collegamento tra i due edifici, alterando lievemente la loro simmetria originaria.
Il palazzo dal 1968 ospita anche il Museo Diocesano che arricchisce l’offerta culturale del complesso.