On ne connaît pas exactement les origines du domaine du Vivier, mais celui-ci est associé pendant de nombreux siècles à la couronne royale de France. Bâti avant le XIIe siècle, le domaine du Vivier tire son nom des nombreux étangs riches en poisson qui parsèment les forêts aux alentours du château.
Au mariage de Philippe IV le Bel avec Jeanne de Champagne, alors que le château voisin de Bec Oiseau (à Mortcerf) revient au domaine royal, le Vivier est offert à Charles de Valois, frère du roi. A l'accession au trône de son fils, Philippe VI de Valois, le domaine du Vivier rejoint définitivement le domaine royal et recevra très fréquemment la visite des souverains.

Jean le Bon et Charles V prennent grand soin du domaine et font agrandir le château originel, y ajoutant une sainte chapelle royale. La chapelle royale du Vivier est élevée au rang de Sainte-Chapelle (comme celles de Paris et du château de Vincennes), recevant sous Charles V en 1352, une relique de la vraie croix du Christ. Mais le roi qui marque le plus l'histoire du Vivier est Charles VI.
Le roi résidant régulièrement au domaine à partir de 1380, ce dernier devient sa résidence permanente à partir de 1392, quand le roi sombre définitivement dans la folie. Les écrits de l'époque relatent les embellissements que le roi opère sur le domaine et sa passion pour les jeux de carte amenés récemment d'Italie.

Après le règne de Charles VI, le château royal du Vivier reste propriété royale mais n'attire plus les souverains. Louis XIV songe un moment à y édifier son palais avant de se décider pour les terrains de Versailles, moins marécageux. Le domaine est vendu en 1790 comme tant d'autres biens publics, mais une bonne partie du bâti est sauvée de la destruction.