Clam-Gallasův palác nechal zbudovat Jaroslav V. Gallas v letech 1713 až 1730 podle architekta Josefa Fischera z Erlachu na starších základech několika objektů ze 14. století. V suterénu se dochovaly zbytky románského dvorce. Jedná se o vrcholnou stavbu palácové architektury.
Palác se stal významným centrem kulturního i vědeckého života v Praze. Navštívil ho Mozart se svou ženou Konstancií a Josefínou Duškovou, a později i Beethoven. Ve 20. století pronajali majitelé paláce jeho část úřadům, pracoval zde krátkou dobu mj. i Franz Kafka. Po 2. světové válce přešla budova do majetku města Prahy, sídlí zde archiv www.ahmp.cz a pořádají se výstavy a koncerty.