Il cuore del paese è costituito dalla sua splendida Abbazia dedicata a San Gaudenzio e costruita nel 1028 per volere del vescovo di Fiesole, Jacopo il Bavaro. Nel 1070 il vescovo Trasmondo, promotore di nuovi lavori di abbellimento, consacrò la nuova chiesa e l’affidò ai Benedettini. L’8 giugno del 1302 nell’Abbazia si tenne un convegno rimasto celebre e ricordato anche nelle Storie della letteratura italiana: il convegno degli esuli fiorentini Ghibellini e dei Guelfi Bianchi, tra i quali spiccava il nome di Dante Alighieri. L’obiettivo era quello di riuscire a trovare un accordo con gli Ubaldini per poter rientrare a Firenze, in quel tempo dominata dai Guelfi Neri. Le deliberazioni non ebbero successo: di lì a poco seguì un aspro scontro tra Bianchi e Neri, la sconfitta dei primi mentre maturò la decisione di Dante di staccarsi dai compagni fiorentini (compagnia malvagia e scempia) e di far parte per se stesso (come ricorda il poeta della Commedia).
La data non è certa, dovrebbe essere il 1421 e qui, nella frazione di Castagno nasce Andrea di Bartolo di Bargilla detto Andrea del Castagno. Fu uno dei protagonisti della pittura fiorentina nei decenni centrali del XV secolo. Curiosamente di lui si hanno descrizioni della persona e del carattere piuttosto singolari. Vasari per esempio lo descrive come “uomo rude e terribile”. La famiglia, Andrea ha un fratello e una sorella, lasciano Castagno durante la guerra tra Firenze e Milano a seguito, anche, della distruzione della casa e si trasferiscono nel vicino Mugello. Non sappiamo nulla di certo sulla sua educazione artistica e sulla primitiva attività. L'opera più antica, ricordata dalle fonti ma perduta, sono gli affreschi sulla facciata del Palazzo del podestà di Firenze raffiguranti, impiccati simbolicamente, i membri della famiglia degli Albizzi, colpevoli di tradimento dopo la battaglia di Anghiari.