La leggenda vuole che l’antica icona della Vergine fuggita dalla casa del bestemmiatore predisse sciagure per Camerino. Per esorcizzare queste oscure predizioni e celebrare il prestigio della sua famiglia, Giulio Cesare Varano avviò la costruzione del Tempio Ducale dell’Annunziata. La presenza a Camerino di Baccio Pontelli e l’affinità con Santa Maria di Orciano fanno ipotizzare che sia stato proprio lui (c. 1450–post 1500) l’architetto dell’edificio, piuttosto che Rocco da Vicenza.
Testimonianze coeve riferiscono che nel corso della cerimonia di fondazione Giulio Cesare sotterrò due scudi d’oro agli angoli dell’edificio, secondo un rituale antico e raro nel XV sec. ma carico di richiami classici e denso di simbologie. I lavori, affidati a maestranze locali, furono interrotti dal breve dominio di Cesare Borgia (1502–03) e ripresero poi per volontà del figlio Giovanni Maria da Varano, che nel 1515 ottenne il titolo ducale e fece porre in facciata un portale trecentesco in pietra bianca e rosa, sovrastato dallo stemma “I.O.MA.PM.DUX”.

L’interno, diviso in tre navate da colonne monolitiche di arenaria con capitelli varaneschi, è un raro esempio italiano di Hallenkirche. Le volte a crociera, appoggiate su peducci e trabeazioni, richiamano la vicina loggia ducale, mentre absidi semicircolari e pavimento intarsiato con lo stemma dei da Varano rimandano ai modelli basilicali tardoantichi dell’Adriatico.

Della decorazione pittorica resta un unico affresco del 1508, nella cappellina della navata sinistra: il Battesimo di Cristo, opera della scuola del Perugino o di Marchisiano di Giorgio.
L’icona miracolosa, trafugata nel 1968 dal tesoro di San Venanzio, sopravvive solo in una fotografia in bianco e nero.