Il monastero di S. Cassiano non è stato un eremo né una badia, ma un priorato, probabilmente a causa del numero esiguo di monaci che vi risiedettero nei secoli.

La sua fondazione si fa risalire, secondo documenti non più esistenti, agli anni 1119–1153. Il documento più antico che si conserva e ne attesta l’esistenza risale al 1177, ma non si può escludere che il priorato sia sorto già intorno al 1050, durante l’epoca d’oro degli eremi e delle badie.

Nel tempo, il priorato crebbe in fama e acquisì numerosi possedimenti. Molti documenti riguardanti S. Cassiano sono oggi conservati nell’archivio di S. Nicolò di Fabriano.

Nel XV secolo, nel priorato rimase un solo monaco; per questo motivo Papa Eugenio VI, con bolla del 1441, unì e incorporò S. Cassiano alla chiesa di S. Venanzo di Fabriano (non ancora Cattedrale Basilica). Lo stesso Papa, nel 1455, lo unì a San Nicolò di Fabriano, unione che divenne definitiva nel 1456.

La chiesa di S. Nicolò entrò così in possesso di tutti i beni del priorato e ne curò l’ufficiatura fino al 1860, quando la soppressione statale portò alla vendita dei beni a privati. Nel tempo, le proprietà passarono di mano in mano, fino a quando, in anni recenti, i monaci dell’eremo di S. Silvestro di Monte Fano (sopra Fabriano) ne acquistarono una parte significativa, trasformandola in una struttura moderna con nove appartamenti, utilizzati soprattutto durante il periodo estivo.

L’interesse principale è costituito dalla splendida chiesa romanico-gotica, interamente in pietra, con una bellissima abside esterna caratterizzata da cinque monofore a tutto sesto, dodici archetti tronchi, due colonne e mensole centrali zooforme. La facciata presenta un portale a sesto acuto, dove la commistione tra elementi romanici e gotici fa supporre una costruzione intorno all’XI secolo, con successivi completamenti o rimaneggiamenti nella metà del XIII secolo.

L’interno della chiesa è a tre campate, con un presbiterio a crociera raggiungibile tramite sette gradini. In uno spazio ridotto, il progettista è riuscito a combinare in modo originale la tribuna e la cripta. Quest’ultima, con soffitto a crociera, è accessibile attraverso una scala in pietra e testimonia le origini più antiche del complesso, poiché l’uso della cripta era comune solo fino all’anno 1000.