La leggenda narra che un grosso masso di tufo, staccatosi dalle pendici di Monte Cavo, stesse per schiantarsi sul paese di Rocca di Papa. Un viandante accortosi del pericolo implorò la Madonna e il macigno si fermò a pochi metri dal viandante. Per ringraziare la Madonna il miracolato fece costruire una cappella, divenuta in seguito meta di pellegrinaggi.

Attraverso i secoli i fedeli alla Madonna del Tufo aumentarono e sul finire del 1500 la Cappella fu posta sotto il controllo della chiesa di Rocca di Papa. Nel 1892 il Santuario passò ai Trinitari e nel 1932 fu inaugurata la nuova Chiesa, ricostruita su progetto dell’architetto don Salvatore Spadaio. Caratteristico è il soffitto a cassettoni di legno e la Madonna scolpita nel blocco di Tufo.