'existence d'un habitat à l'emplacement actuel du château est attestée dès 793. Charlemagne offrit un "relais de chasse" à Guillaume au Cornet pour le récompenser de ses actions lors de la libération d'Orange.

Au cours des siècles, le château de Suze-la-Rousse a appartenu à trois grandes familles provençales : les princes d'Orange en furent les principaux gouvernants, puis la maison des Baux donna à Suze de grands Seigneurs.
Parmi eux : Le Comte François de la Baume, qui s'illustra au XVIe siècle dans de nombreuses luttes contre le Baron des Adrets, au cours des guerres de religion. En 1564, il reçut au château Charles IX et la reine mère Catherine de Médicis. Mais c'est en 1587 qu'une phrase qu'il prononça passa à la postérité : "Allons la grise. Allons mourir à Suze". François de la Baume venait d'être mortellement blessé, ainsi que sa jument grise, à Montélimar, ville assiégée par les Calvinistes. Les Baux conservèrent le château pendant près de six siècles.

La dernière représentante de la lignée familiale, la Marquise de Bryas, mourut sans héritier en 1958 et légua le château à une association des "Apprentis orphelins d'Auteuil". Faute d'argent, l'association le vendit aux enchères en 1963 et le conseil Général s'en porta acquéreur.