Sur un site exceptionnel, le donjon du XIe siècle, dit "Tour Sarrasine", et le château du XVIIe siècle bâtis sur un éperon rocheux, dominent le village et la haute vallée du Loing.

Le 15 avril 1600, François d'Agès achète la châtellenie de Saint-Sauveur. Il entreprend la construction d'un nouveau château. Par le mariage de sa fille, en 1605, avec Charles de Courbon, le château passe à ce seigneur Saintongeais. Le Pavillon Louis XIII est édifié au Sud. Il sera flanqué au Nord d'un grand corps de logis bâtis dès 1687 par Pierre Nigot, nouvel acquéreur. Sa famille Auxerroise s'est enrichie sous Colbert dans les messageries exploitant les diligences de Paris à Lyon et le coche d'eau d'Auxerre à Paris. Pierre Nigot de Saint-Sauveur réalise cette construction dans le goût du grand siècle de Louis XIV, avec écuries, parc et canal.