Le château seigneurial est construit sur une petite hauteur. Son origine remonterait à la réorganisation carolingienne du haut Moyen Âge, et on en trouve la trace écrite au Xe siècle. Certaines archives attestent même qu'il aurait des assises romaines.
Le donjon est le vestige d'une ancienne tour à signaux. La tour ronde a quant à elle été construite au XIe siècle, elle servait de tour de guet.
Un souterrain, aujourd'hui impraticable et inaccessible, reliait le château à la salle de réception du domaine de l'Espagnac, qui était alors une métairie du fief seigneurial. Ce souterrain permettait de se mettre à l'abri en cas d'invasion. Le château possédait également des oubliettes qui permettaient de retenir prisonniers les ennemis capturés, ou d’y laisser croupir ceux qui ne voulaient ou ne pouvaient pas s'acquitter des rançons, souvent très élevées, qui permettaient au seigneur d’entretenir sa fortune. De larges fossés, des remparts, et l'édification fortifiée à l'intersection du ruisseau de la Font Vive et de celui de Bayssan, assuraient la sécurité des habitants.
Le château possédait autrefois une chapelle, transformée en salle à manger au XIVe siècle.
Avant l'an 1000, le château appartenait à Xabouris, d'origine wisigothe, puis à son fils Raymond Marfred à partir de 1097. Les enfants de ce dernier, Richilde et Agnès de Sauvian, en devinrent propriétaires en 1120 et on trouve trace de leur famille jusqu'à la croisade des Albigeois. Puis, en 1158, Guillaume Arnaud devint le seigneur de Sauvian. Durant plus de deux siècles, le château fut la propriété de la famille de Gept qui en partageait la co-seigneurie avec la famille Lautrec, marquis de Villeneuve. Le château devint ensuite la propriété d'Antoine de Manse, puis du marquis de Bausset. Au décès de celui-ci, il fut acquis par le comte d'Astanières qui demanda à l'architecte biterrois Geniès de dresser l'état des lieux des terres et des bâtiments, ce qu’il fit sous la forme d’un atlas (voir photos). Il passa ensuite dans la famille de Chauliac qui s'en sépara en 2018.
Aujourd’hui, il appartient à Anne-Elisabeth et François Fauveau qui en ont fait une location saisonnière de luxe.
Site personnel réalisé par Didier Bibard, en collaboration avec Alice Fauré