Le prince Xavier (1730-1806), cadet de la maison de Saxe, connut une carrière assez mouvementée. Auréolé de succès militaires pendant la Guerre de Sept ans, il n'obtint pas le trône de Pologne qu'il convoitait. Administrateur de la Saxe de 1763 à 1768, il fut ensuite candidat malheureux à la dignité de grand maître de l'Ordre des chevaliers teutoniques. Il se fixa alors en France - il était le frère préféré de la Dauphine Marie-Josèphe (1731-1767), mère de Louis XVI et des deux derniers rois Bourbon. Partageant son temps entre la Cour, son hôtel parisien et deux domaines acquis en Champagne, Chaumot et surtout Pont-sur-Seine (château construit par Le Muet pour le surintendant des finances Claude Bouthillier de Chavigny), il s'apprêtait à y finir ses jours paisiblement sous le nom de comte de Lusace. La Révolution en décida autrement, et le prince quitta précipitamment la France en 1791, laissant dans son château de Pont l'essentiel de ses collections, de son mobilier et de ses archives, qui furent confisqués. Xavier de Saxe mourut à Dresde le 21 juin 1806.

La Bibliothèque Mazarine conserve nombre de volumes imprimés ou manuscrits ayant appartenu à Xavier de Saxe. Inventoriée en mai-juin 1793 en Champagne par les autorités révolutionnaires, la bibliothèque du prince suscita en effet la convoitise de l'abbé Leblond, directeur de la Mazarine depuis 1791, éminence grise des différentes commissions qui se succédèrent à partir de 1790, chargées du recensement et de la répartition des collections confisquées de livres et d'objets d'art.