Pittore manierista barocco e storico dell’arte, Federico Zuccari, comprò il terreno nel 1590 e costruì il suo studio e residenza qui in Roma nel 1592. Il Palazzo ebbe poi successivi ampliamenti nel Seicento, trasformazioni nel Settecento ed adattamenti e restauri nei primi anni del Novecento. Fu ispirato da una visita al Parco dei Mostri di Bomarzo, il fiabesco parco costruito nella campagna laziale vicino Viterbo. L’artista infatti disegnò personalmente le porte e le finestre a forma di bocche infernali. Tra queste il portone su via Gregoriana a forma di una gigantesca bocca spalancata con il naso a fare da chiave di volta della struttura di ingresso. Questa scelta architetturale, molto criticata ma anche molto ammirata, guadagnò velocemente all’edificio l’appellativo di Casa dei Mostri.

Dal 1702 il palazzo fu affittato a Maria Kasimira, vedova del re Giovanni III Sobieski di Polonia, che commissionò a Filippo Juvarra la realizzazione del piccolo portico con le colonne su Piazza Trinità dei Monti. L’edificio divenne un importante centro culturale della Roma del Settecento. Poi con il nuovo proprietario Alessandro Nazzari il palazzo venne trasformato in una locanda per artisti che vide tra i suoi ospiti anche Johann Joachim Winckelmann, che fu Prefetto delle Antichità Romane dal 1755 al 1768 , e Louis David che qui dipinse il Giuramento degli Orazi. La casa fu poi divisa in appartamenti finchè una degli inquilini, la mecenate ebrea nata a Colonia, Henriette Hertz, nel 1904, comprò l’intero palazzo, facendo eseguire altri lavori che incorporarono il palazzo vicino. La casa fu un importante salotto culturale frequentato anche dal poeta e scrittore Gabriele D’Annunzio, che lo descrisse nel suo celebre romanzo Il Piacere, del 1905. La Hertz morendo lasciò la collezione di quadri allo Stato Italiano, che ne fece mostra al museo di Palazzo Venezia. Il palazzo e la sua biblioteca vennero invece lasciati allo Stato Tedesco con lo scopo di istituire un centro studi. Venne così costituita la Biblioteca Hertziana, specializzata in libri d’arte, con più di 160.000 volumi, accessibile su speciale richiesta. Il palazzo ospita anche importanti affreschi di Giulio Romano ed è stato rinforzato con 178 pilastri di cemento, poiché nelle fondamenta sono stati rinvenuti dagli archeologi i resti di un antico giardino di Lucullo.