La singularité géographique du territoire castrais se dessine dans la rencontre des paysages agricoles de la plaine traversée par la rivière Agout, des plateaux calcaires du massif du Sidobre et de la Montagne Noire. La ville de Castres s’est avant tout développée dans la vallée, sur les bords de l’Agout puis de la Durenque qui ont dessiné la structure urbaine de la ville.
Au XIIIe siècle, l’installation du couvent des Dominicains et la construction de la passerelle du Pont Neuf vont avoir deux incidences sur la structure urbaine : la création d’un second axe est-ouest et le développement du faubourg Villegoudou. Hors murs, deux nouveaux couvents sont édifiés (Cordeliers et Trinitaires). Aux XIVe et XVe l’enceinte est agrandie et englobe le couvent des Cordeliers et le faubourg. Dix portes dont 3 principales donnent sur les voies de communication. L’axe est/ouest qui mène au Pont Vieux perd son rôle commercial qui se déplace au Sud devant la basilique St Vincent. Deux nouveaux couvents sont édifiés intramuros (Trinitaires et Clarisses).
La richesse du patrimoine et la qualité patrimoniale de la ville de Castres ont suscité une volonté forte de protection et de valorisation de l’architecture urbaine.
Sur la base d’un diagnostic architectural, patrimonial et environnemental, la Ville de Castres a lancé une étude s’attachant à définir les prescriptions particulières à suivre dans tous les domaines de la construction, de la rénovation ou de l’aménagement urbain.
Depuis le XXe siècle le développement de la ville se poursuit par la rénovation urbaine de la ville ancienne, démolition ou curetage d’îlots pour créer ou aménager des places, parcs, jardins et la démolition de maisons insalubres pour créer des parkings ou équipements techniques (transformateurs, conteneurs…) et le long des voies de communication par l’extension pavillonnaire et zones commerciales et artisanales vers l’ouest ou vers le sud.
