Du XIIIe au XIXe siècle
La première construction qui subsiste dans la partie Nord de l'actuel château a vraisemblablement été érigée vers la fin du XIIIe siècle.
Les plus anciens possesseurs connus de la Ville- Huë étaient les Ugues dont on connait un acte remontant à 1380. La similitude des noms est assez grande pour qu'on puisse admettre que la terre devait son nom à ses seigneurs. Les Ugues l'ont donc baptisée la Ville Ugues devenue petit à petit la Ville-Huë. Les descendants des Ugues, les (de) Raguenel habitent toujours le château.
Le château a subi quelques modifications depuis sa construction il y a 700 ans. Ainsi, le cadastre de 1813 le décrit comme ressemblant au bâtiment actuel auquel manqueraient les deux tours ainsi que la dernière travée à l'Est. En outre, deux bâtiments étaient disposés perpendiculairement au logis principal, dans ses extrémités, pour former une sorte de cour complétée par un troisième bâtiment rond qui devait être une fuie (pigeonnier). Le cadastre de 1847 nous montre une disposition de bâtiment similaire avec un début d'aménagement paysagé du parc. L'accès au château se faisait encore de face.
Extrait de cadastre de 1847 