S. Rufillo fu villa del contado imolese e dipese, nei secoli XIV e XV, dalla curia di Montebattaglia poi da quella di Casola Valsenio. In origine la Chiesa non era ubicata nel luogo attuale: essa era situata infatti presso i fondi Bonzo e Chiesuola a circa un km. da quella odierna. Esistente già nel XII sec. come semplice eremitaggio, divenne in seguito rettoria, ricordata per la prima volta nel 1328. Era sicuramente consacrata, ma non sappiamo a partire da quale anno. La Chiesa si presentava con soffitto a travi e misurava m. 7 X 6, con facciata a ponente sulla quale era dipinto il titolare ed era stata innalzata la croce. Nel sec. XVII aveva due altari: quello maggiore era affrescato con immagini sacre e sottostava a un arco anch'esso affrescato. Il secondo altare era dedicato a S. Sebastiano e sopra si ammiravano le immagini del Crocifisso, della Madonna, della Maddalena e dei SS. Giovanni e Sebastiano. Nel 1697 si trovano poi due altari laterali: uno costruito in onore della Madonna del Rosario, l'altro, eretto per S. Carlo Borromeo. Un piccolo campanile, infine, si elevava al di sopra della Chiesa dal lato sud. Questa Chiesa e la sua canonica scomparvero la sera del 24 marzo 1738 a causa di una frana.