En 1040, le comte de Mayenne, féal du comte d'Artois fait construire un château fort à Saint-Céneri et en confie la garde à Guillaume GIROIE.
Hormis une courte période (1062-1088) qui verra la domination des Montgomery-Bellème féaux du duc de Normandie, les Giroie régneront ici pendant 250 ans.
Leur nom subsiste dans celui du village Saint-Céneri-le-Gérei.
Pendant prés d'un siècle, du fait de la rivalité qui oppose les Giroie aux Bellème, le château subit de nombreux sièges rappelés par une pierre commémorative.
En 1346 débute la Guerre de Cent Ans. En septembre 1417 Saint-Céneri tombe aux mains des Anglais. Un gentilhomme va jouer un rôle important : Ambroise de Loré, capitaine du comte d'Armagnac, fidèle au Roi de France.
Loré participe a de nombreux coups de main contre les Anglais dans l'Alençonnais. En 1429 Saint-Céneri est repris aux Anglais par Jean Armange, lieutenant de Loré. Celui-ci rejoint Armange dans Saint-Céneri.
En 1430, une forte armée anglaise assiège le château. Loré, par un souterrain partant d'un puits, quitte la place pour chercher des renforts. A l'arrivée de ceux ci les Anglais lèvent le siège. Le château de Saint-Céneri sera encore victorieusement défendu en 1432 et 1433 avant d'être pris et détruit par les Anglais en 1434.