Fondé au XIe siècle, et protégé par des douves marécageuses, « le fond de Ville » était une châtellenie dépendant de St Germain de Confolens.
Durant tout le Moyen Âge, ce fut également un centre militaire et politique.
En 1350, la guerre de cent ans sévit les Anglais accompagnés du Prince noir, détruisirent entièrement la ville et anéantir les habitants. Pour seule preuve encore visible de nos jours de leur passage, il est possible de voir, sur la rive droite de la rivière, en amont du pont actuel, un monticule de pierres crues, seul vestige de l'ancien pont romain.
Mais la châtellenie se releva de la « grande guerre » et son importance accrue au XVe siècle. Vers 1500, sous Louis XII, elle fut fortifiée d'un mur d'enceinte. Protégée à l'est par la Vienne, au nord par un ruisseau « riou en patois local » l'Aribat et à l'ouest et au sud par une douve alimentée par l'Aribat.
Enfin, pour accéder à la « Vieille ville », il faut noter la présence encore visible de 2 portes :
À l'Est la porte dite de la rivière.
À l'Ouest, la porte dite des cavaliers du Roy. (porte à 2 tours autrefois munies de herses et d'un pont Levis).
Au dessus de la porte une pièce, qui était l'ancienne prison seigneuriale.
Devant, la douve s'élargissait et formait un petit étang, nommé la pêcherie du château.