Prende nome dagli ultimi signori che amministrarono i beni feudali "mero et misto imperio" dell'Università (antica denominazione al posto di "Comune"). Non da ultimo per il fatto che lo stesso Michele Imperiale, IV marchese di Oria, lo fece restaurare, ampliandolo, nel 1693 contrariamente a quanto ritengono alcuni studiosi secondo i quali il Palazzo è stato fatto costruire di bel nuovo dal detto marchese. Essi sono smentiti da un inventario ove si legge: " ... detto eccellentissimo signor marchese avepurefatto migliorare il Palazzo vecchio, che vi era in detta terra dell'Avetrana con avercifattofare una scala nuova, e più, e diverse camere, e sopra dette camere soprane tutte le coverte nuove, stalle edaltro."
Alla luce di detto documento appare plausibile la vetustà del palazzo stesso che è quindi attribuibile ad epoche precedenti e vero similmente ai Pagano. Sappiamo inoltre che altri interventi furono operati dai conti Filo dei quali campeggia lo stemma al colmo del portale di ingresso all'androne. Dopo il 1905 i Filo, abbandonata Avetrana per trasferirsi in Napoli, cedono, dietro corresponsione di un canone, il palazzo ad amministratori delle loro proprietà. Da allora inizia la decadenza ritrovandosi a tutt'oggi suddiviso fra ben 13 famiglie.
Con premesse simili risulta al momento assai difficile una lettura delle superfetazioni operatesi nel tempo. E' solo ipotesi immaginare l'originario sviluppo su di un solo piano e nella parte meridionale dell'attuale cortile. Certamente il massimo splendore, come ci informano altri studiosi, fu raggiunto proprio sotto gli Imperiale. Un dovizioso inventario parla di numerosa e pregevole mobilia, carte geografiche, tele, arazzi e quant'altro poteva rendere fastoso un palazzo principesco. Dopo quasi vent'anni di abbandono (1782-1804) il palazzo richiede nuovi restauri da parte dei Filo. Oggi appare svilupparsi attorno ad un ampio cortile cui si accede dall'androne che segue un ricco portale bugnato. Cadente appare l'ampio scalone fatto costruire da Michele Imperiale per accedere al piano nobile
Inglobata al palazzo è la cappella della Madonna del Carmelo ( nei primi anni del sec. XIX già B.V. della Misericordia) che recentemente ha restituito degli affreschi risalenti al XVI sec. ed ora in fase di restauro. Al suo interno si conserva una acquasantiera forse del cinquecento che molto ricorda l'arte tra il paleocristiano e il gotico.
Lasciatoci alle spalle il portale bugnato del Palazzo Imperiale, ci immettiamo, l'abbiamo di fronte, nella antica strada dei Caniglia (oggi via Crispi). Proseguendo attraversiamo via V. Emanuele (già strada della Lezza come detto) e poco più avanti, a destra troviamo Corte Caniglie da vedere dall'interno per il suo suggestivo portale forse quattrocentesco. Il nome prende, anche se in forma erronea, dai Caniglia, che per quanto ci risulta provengono da Oria forse al seguito degli Imperiale ed attestati in Avetrana nella seconda metà del XVII sec. con Teodoro Caniglia. Uscendo su Via Garibaldi ( già strada del Forno baronale e poi Strada dell'Ospedale) e svoltando a sinistra per riuscire su piazza Vittorio Veneto troviamo l'imbocco di Via Ronzieri (o Ronzier, famiglia giunta da Praga con Matteo nella prima metà del XVIII secolo, diede un sindaco ed un notaio) un tempo strada dei Maramonti (i Maramonte famiglia notabile, apparve nella prima metà del XVII sec. legata ai Romano, Signori di Avetrana).
Al crocevia sorge una recentissima costruzione al posto dell'antico forno Baronale e al fianco una finestrella del XVII sec. ( forse di una antica caffetteria e certo casa dei Maramonte) che tutta ne viene svilita. Proseguendo, all'angolo della piazza un palazzotto che fa il verso al " Liberty" si sostituisce alla antica osteria. Di fronte è il Palazzo Torricelli.