Il nucleo più antico della città conserva tre porte: Porta del Carmine del 1640, Porta Borgo Croce del 1715 e, sempre del settecento, Porta Noa o Porta dei Cappuccini.
Molti sono i motivi architettonici interessanti nella città.

Nel cuore del centro storico sorge la Chiesa Matrice voluta da Filippo d'Angiò per il ritrovamento in quel luogo di una icona bizantina raffigurante la Madonna. La prima chiesa fu distrutta da un terremoto che il 20 febbraio 1743 sconvolse tutto il salento provocando ovunque gravi danni. L'attuale chiesa fu ricostruita tra il 1744 ed il 1759 con il contributo di tutta la città. I lavori iniziarono nel 1744 sotto la direzione dell'architetto Mauro Manieri. La facciata è articolata in due ordini con lesene abbinate a capitelli corinzi che creano un ottimo effetto plastico. Al centro dell'ordine superiore vi è una finestra dove in alto sul frontone mistiline in un cartiglio è scolpito il motto "Sitientes venite ad aquas". Ai lati estremi sono collocate le statue di San Pietro e di San Paolo mentre sul portale della facciata un bassorilievo raffigura la Madonna della Fontana. L'interno è a croce greca, con una grande cupola all'innesto dei bracci.

Accanto alla Chiesa Matrice sorge la chiesa della Confraternita dell'Orazione e della Morte dedicata a Santa Chiara. Anche questa chiesa riportò danni nel terremoto del 1743: attualmente conserva una struttura neoclassica conferitagli dall' architetto gesuita Giovan Battista Jazzeola nel 1836. L' interno è a pianta ottagonale con pavimentazione in maioliche dipinte a mano.

Degna di essere visitata è anche la chiesa dello Spirito Santo sita all'interno della porta dei Cappuccini. La chiesa barocca fu realizzata tra il 1759 ed il 1770 dal frate cappuccino Liborio da Manduria. Ha la facciata concava come piaceva al Borromini e il campanile a vela; la navata centrale retta da pilastri venne introdotta da un portico coperto da una volta a stella.

Il castello, come già detto, è stato costruito da Giovanni Antonio Orsini Del Balzo, ed è stato modificato nel corso del XVI secolo dal feudatario Bonifacio con la costruzione di quattro torri angolari. Tra il 1720 e il 1727 divenne residenza degli Imperiali e per questo trasformato da Michele Imperiali seniore grazie all'intervento dell'architetto romano Filippo Barigioni, anche se, come nel caso della chiesa matrice, si pensa che i disegni siano suoi. I lavori furono eseguiti dall'architetto leccese Mauro Manieri. L'edificio, costituito da tre piani, è circondato da un fossato oggi adibito ad agrumeto delimitato da una balaustra del 1740. La massiccia mole è coronata da beccatelli e dalla classica merlatura. La facciata orientale è illeggiadrita da un loggiato con balaustra a quattro arcate e da porte e da finestre finemente decorate con motivi del repertorio barocco. La
struttura è sede del municipio dal 1821.

Oltre al castello è meritevole di menzione palazzo Argentina attualmente palazzo Leo in via San Giovanni che ha sulla facciata una balconata del XVI secolo decorata con formelle scolpite con figurazioni animali e vegetali, particolarmente interessanti sono animali mitologici come l'unicorno e il centauro.