Die ersten historischen Daten über Gabbiano stammen aus dem 11. Jahrhundert, als der Bau des viereckigen Turms begonnen wurde, der dazu dienen sollte, eine der wichtigsten Verkehrswege zwischen Florenz und Siena zu verteidigen.
Tommaso Soderini hat im Jahr 1464 den Beamten des Katasteramtes der florentinischen Republik die Dokumente von Gabbiano überreicht, aus denen zu ersehen ist, dass Wein und Öl zu der Zeit die wertvollsten Güter darstellten, die hier produziert wurden.
Der Bau der Weinkeller wird im Jahr 1124 begonnen, ihre gewölbte Decke stellt den Beweis dar, dass die Keller ausschliesslich für die Weinherstellung benutzt worden sind. Zu der Zeit gehört das Schloss einer der mächtigsten Familien aus Florenz, die Familie Bardi, eine Familie, deren Mitglieder Bankbesitzer sind. In der zweiten Hälfte des 12. Jahrhunderts beginnt die Familie die Arbeiten für die Vergrösserung des Schlosses.
Das Schloss bleibt im Besitz der Bardi bis zum Anfang des 14. Jahrhunderts, dann geht sie in den Besitz der Familie Soderini über, einer der politisch einflussreichsten Familien in Florenz. Es ist auf die Familie Soderini zurückzuführen, dass sich das mit Türmchen versehene Herrenhaus Gabbiano, schon im späten 14. Jahrhundert fertiggestellt, in einen Bauernhof verwandelt, wie es schon in den Dokumenten steht, die im Jahr 1480 von Thomas, dem Vater von Pier Soderini , den Beamten von dem Katasteramt der Florentiner Republik übergeben werden.
Seit dem neunzehnten Jahrhundert wechseln die Familien, die das Schloss besitzen. Einige von ihnen haben Renovierungen vorgenommen, die aber vollkommen die Charakteristiken der architektonischen Besonderheiten des Schlosses respektieren.