La prima attestazione di questa località è del giugno 1047, quando in una nota dei possessi del monastero imolese di S. Maria in Regola appare un Arardus filius Guidonis de Baffadi. Il Castello di Baffadi è documentato solo più tardi, nel 1094, in un contratto enfiteutico stipulato in Castro Bafati. La Chiesa di Baffadi, S. Maria detta "in Tavernula", è attestata per la prima volta nel 1325; dipendente dalla Pieve di Monte Mauro, nel secolo XVI fu aggregata al vicariato di Valsenio, prima di diventare essa stessa sede di vicariato agli inizi del secolo successivo. Devastata dal terremoto nel 1725, fu restaurata, mantenendo sempre il sito originario. Quanto al Castello, le sue vicende nei secoli del tardo Medioevo, furono assai complesse; nel corso del '400, esso fu conteso a più riprese fra gli Imolesi, i Visconti e i Manfredi di Faenza, ai quali definitivamente rimase. Non si sa quando venne distrutto.