L’urbanisation à Carcès a pour origine la cité médiévale. Erigée en Comté en 1571 par le Roi Charles IX et bâtie sur l’emplacement d’un ancien camp romain, elle avait en effet beaucoup souffert au fil du temps.

Le château du XVIème siècle a été détruit en 1951 et restauré en 2006. Dans sa partie supérieure certains éléments architecturaux ont été conservés: -fenêtres à meneaux, encadrement en pierre de l’ancienne porte d’entrée du château, cage d’escalier octogonale en pierre.

Des éléments de remparts sont encore visibles, deux portes de ville subsistent (portes de Brignoles et de Lorgues). Une tour de « guet » (campanile) est située hors du rempart.
Aux XVII et XVIIIème siècles, la croissance du village s’est déroulée vers le Nord Est (place Victor Hugo) et le Sud Ouest (rue Cousteironne).

Le vieux village est aujourd’hui habité. La commune s’est portée acquéreur de nombreuses ruines. Elle les a mises par la suite à disposition d’un organisme de construction à caractère social, qui a assuré la réhabilitation puis la location des logements. Des artisans s’y sont installés. Le site ne ressemble donc en rien à un musée, mais vit ; ça se sent au coin de chaque ruelle. En 2006, la commune a entrepris la dernière phase de restauration de la cité en créant sur les ruines du château, un théâtre de plein ciel et un centre culturel.