Il palazzo Doria Pamphilj, collocato nella zona più alta del paese, rappresenta una delle strutture superstiti dell'antico nucleo urbano di Valmontone insieme alla Collegiata.
Nel 1651 Francesco Barberini cede il feudo di Valmontone (appartenente prima ai Conti di Valmontone e poi agli Sforza) a Camillo Pamphilj, la cui intenzione è quella di costruire una città nuova incentrata su una potenziale sede vescovile, dotata di strade carrabili, edifici pubblici e alloggi per i funzionari, ossia quella che le cronache del tempo definirono la “Città Pamphilia”. Camillo decide così di demolire il vecchio castello barberiniano e nel 1654 inizia la costruzione del Palazzo Doria. La costruzione viene affidata all'architetto gesuita Benedetto Molli che, a partire dal 1666, viene sostituito dall'architetto Antonio del Grande (a lungo sospettato di essere l'architetto originario del nuovo progetto; oltre a lui sono stati fatti i nomi di Mattia De Rossi e Carlo Rainaldi). L'edificio si sviluppa su quattro piani (il pian terreno, il piano nobile e altri due piani di altezza minore), all'interno dei quali si trovano 365 stanze, per una superficie totale di 7400 m² e un volume di 48000 m³, 30 m di altezza e 60 m di lunghezza.
La realizzazione dell'intera costruzione risale al lasso di tempo che va dal 1654 al 1658, con successive modifiche risalenti agli anni 1665 e 1666, tra le quali la costruzione delle cucine, di una nuova stalla e di un “novo Bagnio”; era anche prevista la costruzione di un secondo piano loggiato sul porticato a fronte concava sorretto da colonne, progetto non più realizzato. Altri interventi sul palazzo sono stati effettuati nel XVII sec., ma quelli di maggior rilievo sono avvenuti nella seconda metà del XIX secolo sotto la guida dell'architetto Andrea Busiri Vici. Viene modificata la copertura del palazzo, dapprima a tetto e poi a terrazzo, e viene anche costruita la balconata di servizio alla Sala del Principe.
Il palazzo si presenta oggi nella sua monumentale tipologia di edificio fortificato, un blocco unico, compatto e geometrico di tre piani, costruito su un resistente basamento a bugnato in tufo. L'unità esterna però è contraddetta dalla planimetria interna, per la diversa concezione distributiva del lato meridionale rispetto a quello settentrionale. Infatti, se il lato meridionale è definito da quattro ambienti ampi e luminosi, quello settentrionale si articola invece in sei piccoli ambienti, i cosiddetti “camerini”, che fanno da corona alla più grande “Sala del Principe”. Elemento di raccordo tra i due lati, una grande sala centrale che apriva verso gli altri ambienti attraverso sei grandi porte. Una così diversa distribuzione spaziale ha fatto avanzare l'ipotesi di una diversa cronologia dei due lati e considerare il lato meridionale quale sopravvivenza del precedente palazzo demolito al quale è stata addossata l'“ala nova” del lato settentrionale.
Durante la seconda guerra mondiale, a seguito dei bombardamenti Anglo-Americani, parte del paese è stata rasa al suolo e il Palazzo Doria Pamphilj è stato gravemente danneggiato, in particolare l'ala occidentale subì le conseguenze più gravi, tanto da crollare. Per questo motivo, è stato inserito tra i cento monumenti più importanti al mondo da salvare dalla rivista americana “World Monuments Watch”, nella lista ufficiale del 1998 al numero 44.
Il 9 maggio del 1948 il principe Don Alfonso Pamphilj invia una lettera al Comune di Valmontone con la quale cede gratuitamente il palazzo alla città, dettando alcune condizioni alle quali il Comune doveva sottostare ai fini della cessione. L'amministrazione si impegna a rispettare il severo carattere monumentale ed artistico del Palazzo, astenendosi dal deturparne in alcun modo l'aspetto, salvo le distruzioni avvenute durante la guerra ancora osservabili. I locali dovevano essere adibiti solo per uffici pubblici e attività civiche d'interesse generale ma non per sedi di partiti politici, per adunanze e comizi dei partiti stessi; non dovevano essere esposte sul palazzo altre bandiere o insegne che non fossero la bandiera nazionale o il gonfalone del Comune. Inoltre, il Comune doveva provvedere nel più breve tempo possibile ad allestire i locali per la caserma dei carabinieri (il Consiglio Comunale aveva però fatto osservare di non avere i mezzi per ospitare nel palazzo una caserma).
Dalla seconda metà degli anni '60 fino alla prima metà degli anni '70 il palazzo attraversa un periodo di forte degrado, tanto che le famiglie ivi rifugiate a seguito dei bombardamenti vengono costrette allo sfratto da parte del Comune.
Il 22 maggio 1977 lo storico d'arte Cesare Brandi pubblica un articolo sul Corriere della Sera dal titolo: “Un palazzo che va in rovina”, in cui afferma che : <<Gli scandali non commuovono più, ma che a due passi da Roma ci sia un grande palazzo seicentesco con cinque sale dal soffitto affrescato da autori di primo piano e uno grandissimo come Mattia Preti, e il palazzo sia in rovina dal tempo della guerra e gli affreschi siano al limite per essere irrecuperabili, ebbene questo è uno scandalo che non può lasciare indifferenti>>. L'intento del critico è quello di mettere in primo piano lo stato di degrado e rovina in cui versava il palazzo. Solo dal 1978 cominciarono i primi tentativi di risalita con un iniziale stanziamento di 100 milioni di lire per la bonifica della facciata esterna e negli anni '80 il recupero del palazzo assurge a obiettivo principale della giunta guidata dal sindaco Alberto Lanna; infatti viene istituito uno specifico assessorato affidato ad Angelo Miele, che si prodiga per trovare un accordo con l'Università “La Sapienza” e con il suo Magnifico Rettore Antonio Ruberti con l'intento di aprire a prospettive future di recupero e utilizzo del palazzo.
Il 29 luglio 1987 il Comune stipulò una convenzione e poi un Protocollo d'intesa per l'uso dell'immobile con l'Università “La Sapienza” rappresentata ancora da Ruberti, il quale nello stesso giorno si recò dal Presidente della Repubblica Francesco Cossiga per giurare da Ministro dell'Università e della Ricerca Scientifica. La convenzione stipulata prevedeva la cessione del palazzo per 25 anni all'Università, per destinarlo allo svolgimento di attività istituzionali e didattiche. Il Comune poteva usufruire di una superficie non superiore al 10% del totale per compiti istituzionali. Gli spazi occupati dall'Università vennero destinati sin da subito da “La Sapienza” stessa al CIRPS (Centro Interuniversitario per la Ricerca e lo Sviluppo Sostenibile).
Un progetto generale di restauro, consolidamento e reintegrazioni delle parti distrutte dal bombardamento è stato studiato nel 1988. Nel 1989, venne ricostruita l'ala crollata durante la II guerra mondiale, quella prospiciente Piazza Umberto Pilozzi. Nel 1993 avvenne il riscatto dai privati che occuparono le stanze del palazzo nel dopoguerra e furono consolidati il tetto e gli affreschi del piano nobile.
Il 20 Dicembre 1997 il palazzo diventa ufficialmente sede dell'Università “La Sapienza” in conformità al Protocollo d'intesa del 1987.
Nel 2002 vennero completamente restaurate l'ala est del palazzo e la corte interna del palazzo intitolata ad Antonio Ruberti. Una monumentale scala di marmo consente l'accesso al primo piano, il piano nobile, dove si snoda un importante ciclo ad affresco, somma della pittura di decorazione delle residenze principesche della seconda metà del '600. I quattro grandi ambienti del lato meridionale, che propongono il tema dei quattro elementi (in successione: la Stanza del Fuoco opera di Francesco Cozza, la Stanza dell'Aria di Mattia Preti, la Stanza dell'Acqua di Guglielmo Cortese detto “il Borgognone” e la Stanza della Terra attribuita a Giambattista Tassi), conducono al lato settentrionale. Questa ala è articolata intorno alla Sala del Principe, l'unica ad essere affrescata non solo nel centro di volta ma anche sulle pareti con un paesaggio realizzato da Gaspard Dughet, con a far da corona i sei camerini, quattro con la rappresentazione dei continenti, rispettivamente l'America, l'Africa, l'Asia e l'Europa, e i due ambienti con funzione religiosa, l'Anticappella con la rappresentazione di Sant'Agnese e la Cappella con l'immagine del Padre Eterno. Nel Novembre 2014, a seguito di importanti interventi di restauro, è stata riconsegnata con tutto il suo splendore alla comunità di Valmontone, la sala più importante del palazzo, la Stanza del Principe.