Dominant la rivière du Treulon depuis un piton rocheux haut de 13 mètres, un château existe à Varennes depuis au moins le XIe siècle. Il appartient à la famille « L’Enfant ». Plusieurs bâtiments se succéderont au cours des siècles. Chacun laissera des vestiges plus ou moins importants.
De la construction du XIIe-XIIe siècle subsistent ainsi diverses parties en sous-sol et un large pan de mur avec une partie en roussard (pierre marron-rouille) au levant.
En sous-sol, existe une cheminée en partie démantelée sur chaque côté de laquelle a été sculptée dans la pierre une chimère. Ces deux chimères datent du XVe siècle.
Pillé et incendié lors des guerres de religion, le château aura du mal à s’en remettre même si, au début du XVIIIe siècle, il fait l’objet de diverses réparations.
En 1860, Léon de Lorière entreprend de restaurer le château en le remaniant complètement. La façade sud, devant laquelle vous êtes, est reconstruite dans le style de la Renaissance. De larges vestiges des anciennes constructions sont cependant conservés, telle la grosse tour ronde à l’arrière. Un historien de l’époque qualifia ainsi le château restauré de « Pierrefonds du Bas-Maine » !
En 1932, à la suite d’un partage, le château est vidé de ses meubles. La guerre à peine terminée, il est entièrement dévasté. L’intérieur est d’abord plus ou moins vendu à la découpe (y compris les poutres) puis, tout simplement pillé. Il n’en restera quasiment que le gros œuvre, les extérieurs étant complètement laissés à l’abandon.
Il faudra attendre 1965 pour qu’à l’initiative des actuels héritiers, une tentative de le faire renaitre de ses cendres soit entreprise avec un effort de remise en l’état de l’essentiel (en particulier mise hors d’eau grâce à la restauration de la couverture).