Parte del Palazzo risale al tempo del pontificato di papa Martino V Colonna (1417 - 1431) ma fu ampiamente ristrutturato nel 1730 dall'architetto Nicola Michetti.
L'attuale edificio è compreso in un vasto isolato che da piazza SS. Apostoli arriva fino a Via della Pilotta, dove, mediante quattro archi-cavalcavia si collega al giardino di Villa Colonna. Nel Palazzo è situata la celebre Galleria d'arte del cardinale Girolamo Colonna che espone splendidi dipinti di Veronese, Palma il Vecchio, Tintoretto, Bronzino, Guercino, Salvator Rosa ed altri. Dalla Galleria si può ammirare il bel giardino privato del Palazzo, che sorge sulle rovine del Tempio di Serapide.