Secondo la tradizione, Cesare Borgia fece costruire la Rocca non tanto per difendere Camerino, quanto per tenere sotto controllo i cittadini ancora legati alla dinastia varanesca. Si racconta infatti che i cannoni della fortezza fossero rivolti verso il centro urbano. La struttura sorgeva separata dalla città da un profondo strapiombo, superato grazie a un ardito ponte, successivamente colmato per volontà di papa Clemente X, all’epoca vescovo di Camerino.

Il progetto dell’edificio fu affidato a Lodovico Clodio (†1514), figura complessa e inquieta di prelato, noto anche come esperto di architetture militari. Tra maggio e agosto del 1503, i lavori si intensificarono con l’impiego di maestranze provenienti da numerose città. L’edificazione proseguì ampliando i muri di sostegno già esistenti attorno al convento di San Pietro in Muralto, che venne inglobato nella nuova fortificazione.
Fu poi Giovanni Maria da Varano a completare l’opera: collegò la rocca al Palazzo Ducale mediante un passaggio sotterraneo e la dotò di un vasto arsenale — quarantadue bocche da fuoco in ferro e bronzo, tra codette, smerigli, archibugi, mortai, cannoni e serpentini — oltre a cavalli e soldati per la difesa. La pianta della fortezza, a forma trapezoidale, racchiude una piattaforma interna situata sul ciglio del precipizio. Ai vertici est e ovest si innalzano due torrioni cilindrici, mentre a nord si erge un grande mastio quadrangolare, che al tempo di papa Clemente VII custodì persino il tesoro di Loreto.

Nel corso dei secoli, la Rocca conobbe molte trasformazioni. Fino al 1852 fu utilizzata come lazzaretto, e nel 1867 venne parzialmente smantellata, insieme alla chiesa di San Pietro in Muralto e a parte del convento fatto edificare nel 1480 da Giulio Cesare da Varano per i frati minori, su un preesistente insediamento monastico.

Lungo la strada che attraversa le mura castellane, in simmetria con Porta Malatesta, si trovava un tempo anche Porta Della Rovere, collocata ad angolo.

In seguito al colmamento del fossato, alla demolizione degli edifici interni e alla rimozione delle merlature, la Rocca ha assunto l’aspetto di un ampio belvedere. Il giardino pubblico, realizzato nel 1924 e arricchito da alberi già piantati nell’Ottocento, ospita i busti di due illustri camerinesi: il compositore Filippo Marchetti e il drammaturgo Ugo Betti e dell’agronomo genetista di Crispiero Nazzareno Strampelli.

Il piazzale, ampio e luminoso, è frequentato soprattutto dai bambini. L’ala superstite del convento — oggi sede di un caratteristico ristorante — conserva due piani di sale voltate, ariose e rinascimentali. Qui morì il beato Pietro da Mogliano. Gli ambienti, affacciati sugli spalti, offrono un panorama mozzafiato sui Monti Sibillini, che — secondo la tradizione — lasciava estasiato lo stesso Giulio Cesare da Varano.