Das Jüdische Museum Berlin besteht im Wesentlichen aus zwei Gebäuden, dem barocken Altbau des Kollegienhauses - ehemaliges Kammergericht von 1735 - und dem Neubau im Stil des Dekonstruktivismus von Daniel Libeskind. Beide Häuser haben keine oberirdisch sichtbare Verbindung, sie sind durch das Untergeschoss miteinander verbunden. Oberirdisch an den Altbau ist ein weiterer Neubau angeschlossen, der als Gruppeneingang und Gruppengarderobe dient und auch einen Zugang zum Garten bietet. Von der Lindenstraße aus gesehen ist dieser Bau durch das große Hoftor verdeckt.

Der Garten des Exils ist eine tiefer liegende quadratische Fläche, deren begrenzende Betonmauern die Sicht in die Umgebung verhindern. Im Garten des Exils stehen 49 sechs Meter hohe Betonstelen auf einem schiefen Grund, auf denen Ölweiden gepflanzt sind, da Ölbäume, die in der jüdischen Tradition Frieden und Hoffnung symbolisieren, das Klima nicht vertragen würden. Die Zahl 49 nimmt Bezug auf das Gründungsjahr des Staates Israel, 1948, während die 49. Stele in der Mitte für Berlin steht. Des Weiteren ist die Zahl Sieben im Judentum (7 × 7 = 49) eine heilige Zahl.

Der Holocaustturm ist ein dunkler, kalter, hoher Gedenkraum, in den nur durch eine Spalte in der Decke Tageslicht eindringt. Auf die meisten Menschen wirkt dieser Raum beklemmend und unfassbar. Der Raum hat jedoch nur symbolische Bedeutung und ist nicht etwa der Nachbau einer Gaskammer, wie viele Besucher denken. In etwa zweieinhalb Metern Höhe gibt es eine für Wartungsarbeiten angebrachte Leiter im Turm, die bis zur Decke führt. Nach Meinung mancher Besucher dient diese als Rettungsweg oder als Symbol für das Unerreichbare.

Der Garten hinter dem Altbau wurde 1986–1988 nach einem Entwurf von Hans Kollhoff und Arthur A. Ovaska angelegt. Die Gestaltung der Freiflächen um den Libeskind-Bau herum stammt von den Berliner Garten- und Landschaftsarchitekten Cornelia Müller und Jan Wehberg. Dafür nahmen sie Elemente des Libeskind-Baus wie etwa die Voids auf und schufen unterschiedliche Bedeutung tragende Bereiche, wie z. B. einen Rosenhain, der für das historische Jerusalem steht. Ein aus verschiedenfarbigen Natursteinen gebildetes Bodenrelief umspielt Teile des Gebäudes, insbesondere der von der Zickzack-Form dreiseitig begrenzte Paul-Celan-Hof wird von dem Relief ästhetisch geprägt. Eine Grafik von Gisèle Celan-Lestrange diente dafür als Vorlage.