Le origini mitiche di Brindisi si devono a Diomede fondatore della città al ritorno dalla guerra di Troia. Dalla storia si sa invece per certo che già nell'età del bronzo sulla riva meridionale di Punta delle Terrare vi era un insediamento.
Il toponimo della città si deve probabilmente ad una parola messapica che significa testa di cervo per la forma del porto, tanto che la testa dell'animale insieme a due colonne formano lo stemma civico. Le colonna sono una riproduzione di quelle romane poste in età severiana per segnare la fine della via Appia.

Tracce di un insediamento Japigio del VII secolo a.C. sono emerse a Tor-Pisana un promontorio alle spalle delle due insenature del porto. Le tombe hanno restituito vasellame proto-corinzio e la presenza di questo materiale conferma i contatti intercorsi fra Salento e Grecia in particolare Corinto e le sue colonie. Della comunità messapica presente fino al 246 a.C. data in cui nasce la colonia romana di Brundisium rimangono diverse testimonianze frutto di rinvenimenti che dal VIII secolo in poi si sono succedute in città. Si tratta di oggetti per lo più vasellame rinvenuto nelle tombe ed ora visibili al museo provinciale "Ribezzo". Inoltre la scoperta in via Cappuccini di una necropoli con sepolture che vanno dal III al I secolo a.C. hanno permesso agli studiosi di acquisire notizie del passaggio dalla fase messapica a quella romana della città.

E’ proprio sotto i romani che la città acquisisce importanza come porto per i traffici con l'oriente infatti da municipio romano ottiene immunità per il porto franco ed è direttamente collegato con Roma da due importanti arterie la via Appia e la via Traiana. Durante l'età romana la via Appia costituisce l'asse stradale principale di attraversamento della città che termina come abbiamo detto al congiungimento delle due insenature di ponente e levante del porto. Delle due colonne, trasportate dal mar di Marmara in Turchia ed erette in età severiana, ad oggi ne rimane solo una intatta con capitello adorno di foglie d'acanto dalle quali sporgono i busti di alcune divinità. La seconda crollata nel 1528 in seguito ad un terremoto venne trasportata nel 1656 a Lecce fatta eccezione di uno dei rocchi attualmente visibile sul basamento a Brindisi. Questa colonna trasformata nel capitello dallo scalpello dello Zimbalo venne collocata nella piazza principale di Lecce come sostegno per la colossale statua in legno veneziano ricoperta da foglie di rame del santo protettore di Lecce, Sant’Oronzo che aveva preservato la città dalla peste .

L'importanza delle due colonne rimane legato al fatto che sono, insieme alla casa dove è vissuto e morto il poeta Virgilio, l'unica testimonianza della grande importanza del porto brindisino in età romana. Ritrovamenti di questo periodo sono presenti ovunque in città: dal ninfeo di palazzo Montenegro ai resti di abitazioni di cui rimane il pavimento a mosaico, oppure la presenza di cornici e trabeazioni che fanno pensare ad un foro romano in via Casimiro. I resti delle terme possono essere individuati nell'area di S.Pietro degli Schiavoni e in piazza duomo.

Con la caduta dell'impero romano inizia il declino di Brindisi. La città subisce infatti saccheggi da parte dei goti dei bizantini e dei longobardi e ripetutamente dei saraceni, i quali la distruggono completamente nell’868. I greci con Lupo Protospata ebbero cura di ricostruirla nonostante i continui attacchi dei saraceni e dei longobardi.

I normanni conquistarono la città nel 1071 e fecero molto per la rinascita edilizia economica e commerciale del porto e della città di Brindisi. Dal porto si imbarcavano i crociati per arrivare in terra santa a liberare il sepolcro, di conseguenza a Brindisi nacquero diversi “hospitali” per pellegrini, gli ordini religioso-militari di S.Maria dei Teutoni, dell'ordine dei templari e dei cavalieri gerosolomitani. Anche con gli svevi continuarono i viaggi degli eserciti crociati. Lo stesso Federico II partì con il suo esercito per la sesta crociata nel 1227 ed in quel periodo fece costruire un castello all'estremità dell'insenatura di ponente del porto . L'imponente maniero a pianta trapezoidale sorse sul luogo di pre-esistenti fortificazioni normanne e di una chiesa intitolata a S.Maria dei Teutonici. Furono impiegati come materiali di costruzione proprio i resti di questi edifici e di alcune abitazioni di epoca romana. Questo castello concepito dallo stesso Federico II, era costituito da una piazzaforte quadrata rinforzata da poderosi torrioni angolari e circondato da un profondo fossato, da tutte le parti tranne da quella sul mare.

Attraversando la porta centrale, sormontata da una grande statua dell'imperatore in altorilievo, si accedeva al grande cortile e agli appartamenti imperiali.Si tramanda che Federico II abbia soggiornato con la moglie Jolanda figlia di Giovanni di Brienne principe di Lecce in diversi periodi della loro vita, a partire dal 1225 data del loro matrimonio.

Gli angioini subentrati agli svevi nel 1268 abbellirono la città e rafforzarono il castello contro le incursioni specie nel periodo 1273-1274 quando i greci attaccarono ed assediarono gli albanesi a Durazzo. Poco dopo fu proprio dal porto di Brindisi che Carlo I nel 1282 partì con la flotta che era stata approntata nell'arsenale della città per sedare l'insurrezione scoppiata in Sicilia. Lo stesso Carlo I, in una politica espansionistica, fece costruire altre opere di fortificazione del porto, per poter dare un riparo sicuro alle navi che si apprestavano a partire per le coste della vicina Dalmazia .
Nel 1301 Carlo II apportò nuove modifiche al porto facendo costruire la torre del cavallo riedificata da Carlo V nel XVI secolo oltre a due torrette poste sulle sponde dell'imboccatura del porto.

Gli aragonesi, subentrati agli angioini a partire dal 1425, ristrutturarono le fortificazioni di Brindisi come la cinta muraria ed ingrandirono il castello. Ferdinando I d'Aragona fece costruire un antemurale intorno al fossato federiciano ricoperto poi da volte solidissime creando lunghi sotterranei. Agli spigoli del castello furono elevati quattro torrioni cilindrici sporgenti sul antemurale per permettere il tiro incrociato delle artiglierie e fu scavato un profondo fossato.

Al tempo di Carlo V furono costruite due grandiose porte ancora esistenti: una rivolta verso la città di Mesagne e l'altra verso Lecce. Le ultime modifiche al castello furono apportate da Gioacchino Murat nel 1810 trasformando l’edificio in carcere e, per questo motivo, venne aggiunta una nuova ala. Attualmente il castello ospita il comando della Marina Militare Italiana ed è demanio dello Stato.
Gli aragonesi costruirono anche un altro castello sull'isola di S.Andrea. Quest'isoletta, posta al centro della rada, era stata in precedenza sede di un monastero italo-greco distrutto dai saraceni nel XI secolo e ripristinato dai benedettini nel 1059 per essere di nuovo abbandonato durante le crociate

Questo castello detto "di mare" per distinguerlo dall'altro già in precedenza descritto e chiamato nel gergo popolare "di terra" fu edificato nel 1445 da Alfonso d'Aragona su delle pre-esistenti fortificazioni di epoca angioina. La rocca, a pianta quadrangolare costruita in carparo rossiccio per cui l'appellativo di "Castello Rosso", presenta un torrione poligonale, rivolto verso il mare aperto.

Dopo la cacciata dei turchi da Otranto, avvenuta nel settembre del 1481, Alfonso d'Aragona duca di Calabria e liberatore della città idruntina decise di ampliare il castello. Filippo II aggiunse un torrione circolare chiamato di S.Filippo sul lato rivolto al porto ed un bastione di forma triangolare verso il mare aperto. Successivamente fu creato un piccolo porto interno. Nel 1775 sotto Ferdinando IV di Borbone venne riattivato il canale di accesso al porto interno ostruito al tempo degli aragonesi per paura degli attacchi dei turchi.

Il porto, dopo anni di declino, ebbe un nuovo grande impulso verso oriente dopo l’apertura del canale di Suez avvenuta nel 1869.