L’edificio, denominato anche il Villino e Le Tavernucole, fu ribattezzato L’Eremo dai Gamberucci-Ludovici che l’acquistarono nel 1892.
Nel 1427, l’edificio era una semplice casa da lavoratore con annesso podere e apparteneva agli Zati. Dall’inizio del XVI secolo viene menzionato come villa e nel 1538 apparteneva a un certo Francesco di Lorenzo prete. Nel 1688 ne era proprietario il Canonico Ruberto de’ Medici e rimarrà nei possessi della famiglia fino al 1776. Fu poi dei Masetti, dei Covoni e, dal 1827, dei Micali, che, 1892, la vendettero ai Gamberucci-Ludovici. Nel secolo scorso è appartenuta alla signora Ghira Lichtenauer che la donerà ai Padri Domenicani delle Caldine di Fiesole, i quali l’hanno poi venduta a privati.
Nella villa vi è l’oratorio di San Roberto, costruito nel XVII sec. per volontà di Ruberto di Francesco de’ Medici e completamente rifatto da Anton Maria Cardi che ne divenne proprietario nel 1702. Da documenti del XIX sec. sappiamo che alla villa erano annessi due poderi con relativa colonica denominati L’Eremo I e II.
