La prima attestazione di S. Rufillo è del 1126-30, quando Onorio II comprende la chiesa S. Rophilli fra i possessi della Chiesa Imolese. Il centro abitato di S. Rufillo aveva, pare, questo nome indipendentemente dalla chiesa. Questa viene infatti chiamata, in un documento del 1385, "ecclesia S. Rufilli de S. Rofillo" cioè Chiesa di S. Rufillo della località S. Rufillo.
La Chiesa scomparve il 24 marzo 1738, a causa di una frana, conseguente a una forte nevicata del 20-22 febbraio - che la trascinò nel rio. Lo stesso anno fu costruita una seconda Chiesa, su un preesistente oratorio annesso all'Ospedale di S. Antonio Abate, situato presso Buta. La Chiesa fu ampliata nel 1842-43.

Notizie aggiuntive: A S. Rufillo si trova Monte Battaglia, con la sua rocca risalente al XII sec. Durante la seconda guerra mondiale, Monte Battaglia fu teatro di scontri che ridussero la rocca in un cumulo di macerie; restò in piedi solo un troncone della Torre. Il Maschio della Rocca è stato recentemente restaurato e reso ospitabile a visite guidate nei giorni festivi. A fianco è sorto un gradevole monumento a tutti i caduti della guerra opera dello scultore Rontini.