La costruzione originaria della chiesa risale molto probabilmente al sec. XIII. Probabilmente nel corso del sec. XV (o di quello successivo) in una nicchia della parete di fondo fu realizzato un affresco rappresentante la Madonna tra i santi Stefano e Carlo. In epoca non precisata l`ampio locale al primo piano del corpo antistante la chiesa incominciò ad essere abitato da un eremita e per questo la tradizione popolare ha dato una nuova denominazione alla chiesa.