Il paese ha origini da un insediamento messapico.
L'antica Carbina è menzionata da Clearco per essere stata saccheggiata e distrutta dai tarantini che sarebbero stati colpiti dalla folgore divina per essersi macchiati di tale misfatto. L'episodio deve essere collocato intorno al V secolo a.C.. I resti delle fortificazioni e delle mura ritrovate dal noto archeologo Cosimo De Giorgi sul finire del XIX secolo sono ormai irrimediabilmente perduti dal successivo sviluppo urbano. L'abitato dell’antica Carbina aveva, all'interno del territorio, uno sbocco al mare nel porticciolo di Santa Sabina come fanno pensare i rinvenimenti nella zona di anfore e di altro materiale.
Carovigno, dopo essere stata colonia romana ed avere subito saccheggi e scorrerie nel medioevo, come molti altri paesi di Terra d'Otranto, ebbe come feudatari molti signorotti. Il primo di questi fu un certo Adamo Tambraj mentre gli ultimi furono gli Imperiali, principi di Francavilla Fontana, che vendettero il territorio a Gerardo Dentice, principe di Frasso.
Nel 1483 Carovigno viene occupata dai veneziani sbarcati nella vicina Torre Guaceto, ora importante luogo naturalistico (e riserva del WWF) rimasto un luogo incontaminato per la riproduzione e svernamento di varie specie animali.

Terra è chiamato il nucleo medioevale a cui si può accedere dall'unico dei bastioni delle vecchie fortificazioni rimasto integro e denominato, appunto, ingresso alla Terra.
Le mura vennero ricostruite ed in parte rifatte da Raimondo di Martina nel 1527.
Il castello del XIV secolo, costruito per integrare le mura e per fungere da difesa avanzata verso il mare da dove spesso venivano i pericoli, ha oggi un aspetto da palazzo gentilizio grazie alle diverse ristrutturazioni che ha subito nel corso dei secoli.
Interessanti e meritevoli di visitare sono la Chiesa Matrice (che conserva un rosone che può essere datato alla fine del XV secolo) ed il santuario della Madonna del Belvedere (costruito probabilmente nel XVI secolo su pre-esistenti cripte rupestri affrescate con pitture bizantineggianti) in aperta campagna a circa tre chilometri dall'abitato.

I santi protettori di Carovigno sono San Giacomo e San Filippo che, però, vengono ricordati ormai solo religiosamente, mentre viene festeggiata la Madonna del Belvedere.
Elemento centrale della festa è la cosidetta battitura: il lancio in aria della “nzegna” (l'insegna mariana). La battitura viene fatta ormai da circa sessant'anni dalla famiglia Carlucci che apre la gara tra chi lancia meglio e più in alto le variopinte bandiere.
La Vergine Maria è conosciuta in paese anche come Madonna del Mangia-Mangia, per il grande banchetto che una volta si faceva in piazza a cui partecipava tutta la popolazione.
L'usanza era nata dal ritrovamento miracoloso dell'immagine della Madonna del Belvedere grazie ad una mucca che venne ritrovata in fondo ad un burrone inginocchiata nei pressi della grotta dove su di un masso vi era affrescata l’immagine della Madonna. Da questo episodio nasce anche il lancio della “nzegna” che si riferisce al grido di gioia del mandriano che ritrovò la mucca: l'uomo, infatti, aveva preso un fazzoletto e lo aveva lanciato in aria, come ora si fa con le bandiere di Carovigno nel giorno della “nzegna”.