Le « Castrum de Tullone » fut signalé en 1191.
Il dépendait de la seigneurie d’Aix-en-Provence.
Puis divers propriétaires passèrent, notamment Alexandre de Gallifet, Président au Parlement de Provence.
Le 16 février 1643, il engage la construction du bâtiment actuel, vaste demeure à l’italienne. Les Gallifet conserveront le château deux siècles et demi et en feront le « Versailles d’Aix », avec ses 16 appartements, ses grands salons, un théâtre dans l’aile droite aujourd’hui disparue et une bibliothèque renfermant toutes sortes de pièces de théâtre des plus sérieuses aux plus libertines.
. Résidence d’été
Pour les Gallifet, le château était une résidence d’été à la campagne restauré pour recevoir et distraire, devenant ainsi le rendez-vous de la noblesse aixoise et de l’aristocratie provençale. Le château était également un centre agricole important exploité en métayage. Céréales, fourrages, pommes de terre, vin, arbres fruitiers, oliviers, amandiers faisaient du Tholonet une terre de prédilection, riche et productive.
Une meunerie employait six ouvriers et produisait cent quintaux par jour de farine. Le moulin à huile du château transformait sur place les récoltes d’olives.