Ha sede nell’omonimo Palazzo, costruito tra la metà del ‘400 e gli inizi del‘700, appartenuto prima ai Della Rovere, divenuto dal 1601 di proprietà degli Aldobrandini e dal 1647 dei Pamphilj, per il matrimonio di Olimpia Aldobrandini con Camillo Pamphilj.

Nel 1651 Giambattista Pamphilj, salito al soglio pontificio col nome di Innocenzo X (1644-1655), vi istituì la Galleria. Alla diretta discendenza dei Pamphilj subentrò nel 1760 il ramo dei Doria Pamphilj.

Nella Galleria la disposizione dei dipinti, distribuiti su quattro bracci, segue le indicazioni contenute in un documento del ‘700, dove di ciascuna opera è riportata la precisa collocazione secondo un criterio di simmetria e, a volte, di affinità tipologiche e stilistiche. Vi sono esposti dipinti di Raffaello (Ritratto di Andrea Navagero), Tiziano (Salomè con la testa di San Giovanni Battista), Domenichino (Susanna e i vecchi), Parmigianino (Madonna col Bambino, Natività), Caravaggio (Riposo durante la fuga in Egitto, San Giovanni Battista, Maddalena), Annibale e Ludovico Carracci (Satiro e pastore, Madonna con Bambino, S. Sebastiano), Mattia Preti (Maddalena penitente, San Giovanni Battista, Cristo condotto sulla Scala Santa), Guercino (Erminia ritrova Tancredi ferito, Allegoria della primavera, Ritorno del figliuol prodigo, San Giuseppe), Guido Reni (Madonna che adora il Bambino, San Pietro penitente, Amor sacro e profano), Velazquez (ritratto di Innocenzo X), Brueghel il Vecchio (Paesaggi), Gaspard Dughet (Paesaggi). Sono esposte inoltre sculture antiche e del XVII secolo, fra le quali alcuni sarcofagi e busti, come i due di Innocenzo X realizzati da Gian Lorenzo Bernini e Alessandro Algardi. Notevoli i quattro arazzi della manifattura di Bruxelles del XVI secolo raffiguranti le fasi precedenti e conclusive della Battaglia di Lepanto.