La tradizione vuole che il santo si ritirasse in una grotta per pregare e meditare. Questa grotta, che è ancora visibile, è legata alla nascita del piccolo oratorio dedicato a San Venanzio. Il termine “Piccolo” o “Venanzetto” è un vezzeggiativo che serve a distinguerlo dalla grande chiesa dedicata al martire San Venanzio, patrono della città.
La grotta, originariamente un “antro” (termine latino per una caverna o cavità), è stata trasformata in un piccolo tempio con l’aggiunta della chiesa sopra di essa nei secoli successivi.