Il Castello di Oliveto costruito nel 1424 dalla nobile e prestigiosa famiglia fiorentina dei Pucci, è una fra le più belle ville fortificate della Toscana.
La costruzione, il cui nome deriva dalle numerose coltivazioni di olivo che circondano il Castello, si colloca sulla cima di un colle, ben protetta da fossati, mura e torri.
Motivi architettonici di particolare interesse : la merlatura guelfa, i quattro torrioni agli angoli, la torretta dell'orologio, il cortile interno della Villa con l'intonaco a graffite, il loggiato con quattro arcate e la cappella per le funzioni religiose.
All'interno del loggiato si trova un pozzo per la raccolta di acqua piovana che originariamente era un' uscita sotterranea dal Castello.
Molto interessante è, inoltre, il camminamento esistente su tutto il perimetro delle alte mura da cui si domina tutta la valle. Durante il periodo della sanguinosa guerra, fra i sostenitori della famiglia Medici (fra i quali erano proprio i Pucci) e la Repubblica Fiorentina, il Castello fu luogo di cruenti battaglie e per questo è stato più volte occupato e poi restituito alla famiglia Pucci.
Una nota storica interessante di questo periodo è che durante una sanguinosa battaglia furono uccisi tutti gli adulti della famiglia Pucci che rischiò così di estinguersi ma fortunatamente una serva di colore ne salvò il primogenito fuggendo attraverso il passaggio sotterraneo del castello.
Grazie a questo evento la discendenza dei Pucci fu garantita tant'è che si reso omaggio all'eroina dell'impresa raffigurandola in tutti gli stemmi del Casato. Il Castello è ricco non solo di battaglie, ma anche di famosi ed eccellenti ospiti che hanno apprezzato il meraviglioso paesaggio e l'offerta dei prodotti tipici di queste colline: l'olio d'oliva e il vino.
Il soggiorno del Papa Paolo III Farnese nel 1541. Altri personaggi importanti che hanno soggiornato al Castello sono: Lorenzo il Magnifico, i Papi Leone X Medici e Clemente VII Medici.
Intorno al 1850 si ha il passaggio di proprietà dalla famiglia Pucci a quella dei Guicciardini, altrettanto nobile e famosa, grazie al matrimonio di Paolina Pucci con il Conte Luigi Guicciardini. Nel 1828 il Castello riceve la visita del Granduca di Toscana Ferdinando III con la figlia, l'Arciduchessa Maria Luisa e circa un secolo più tardi quella del Re Vittorio Emanuele III.
Il castello riacquista la sua veste guerresca nel luglio del 1944 come sede delle forze armate tedesche, le quali scoprirono nei sotterranei del castello la presenza di molti quadri provenienti dalla Galleria degli Uffizi che posero in salvo e riportarono a Firenze.
Sempre nel 1944, il Castello passò alle truppe americane guidate dal Generale Mark Clark e divenne il loro quartier generale.
Oggi il Castello è al centro di un efficiente e moderna azienda agricola che ha rilanciato, fra le altre cose, la caratteristica ospitalità del Castello, meta di vacanze agrituristiche, e della tipica produzione dei vini e dell'olio.
Un recente studio del 2015, condotto dal Prof. Arch. Massimo Ricci dell’università degli studi di Firenze, ha attribuito la progettazione e la conduzione dei lavori del Castello di Oliveto a Filippo Brunelleschi architetto noto in tutto il mondo per la realizzazione della maestosa Cupola di Santa Maria del Fiore a Firenze.
Numerosi sono gli elementi presenti all’interno del Castello che fanno pensare alla mano del maestro a partire dall’utilizzo della tecnologia dei mattoni di cui Brunelleschi è uno dei massimi esperti del suo tempo, oltre a ciò ci sono numerose opere come portali, finestre, peducci ed arredi in perfetto stile brunelleschiano.
Nonostante tutti questi importanti elementi l’opera che ha davvero convinto il prof. Ricci della mano del Brunelleschi all’interno del castello è rappresentata dal ballatoio posto nella corte interna del Castello costituito da una mezza volta con lo stessa metodologia utilizzata nella cupola.