Il palazzo fu costruito nel XVI secolo dalla famiglia Paluzzi Albertoni; passato nella metà del secolo ai Gottardi, fu venduto a Mario Fani, che verso la fine del Cinquecento lo fece ristrutturare da Giacomo Della Porta, che vi abitava. Nella metà del Seicento diventa la prima residenza a Roma della famiglia di origine senese Ruspoli;  quando questa si trasferisce, nel 1745, nel palazzo in via del Corso, l’edificio viene venduto ai Malatesta e infine, nell’Ottocento, ai Pecci Blunt, attuali proprietari. La facciata originaria presenta un portale decentrato affiancato da quattro finestre con inferriate e davanzali sorretti da mensole. Al primo piano cinque finestre architravate segnate da un marcapiano continuo; al secondo piano finestre più piccole a cornice semplice. Il cornicione, con mensole e rosette, è decorato da un fregio a girali. Al di sopra è un altro piano, frutto di una sopraelevazione ottocentesca, e un’altana quadrata con due archi per lato. Gli angoli sono segnati da fasce verticali bugnate. Il lato su via della Tribuna di Tor de’ Specchi presenta un grande portale bugnato con sette finestre ai lati, al primo e al secondo piano nove finestre.