Der Kaispeicher B, einer der ältesten Speicher in der Speicherstadt und der HafenCity, liegt direkt am Zusammenfluss von Magdeburger und Brooktorhafen und bildet ein einmaliges Entree zum Überseequartier.
Der Kaispeicher B am Magdeburger und Brooktorhafen wurde 1878/79 im Auftrag der Silospeicher Kommandit-Gesellschaft J.W. Boutin nach Plänen von Bernhard Georg Jacob Hanssen und Wilhelm Emil Meerwein gebaut. Das zehnstöckige Backsteingebäude ist damit etwa zehn Jahre älter als die Häuser der Speicherstadt und somit einer der ältesten Speicher Hamburgs. Die Fassade mit ihren Giebeln, Gesimsen und Spitzbögen zeigt bereits den neogotischen Stil der „Hannoverschen Schule“, der für die Speicherstadt typisch werden sollte. Wie die anderen Gebäude der Speicherstadt war er zwar ein Zweckbau – aber ein repräsentativer.
Der Kaispeicher B ist an zwei Seiten von Wasser umgeben. Schuten und Schiffe liefen von der Elbe kommend in den Magdeburger Hafen ein und wurden über Ladeöffnungen mit Winden entladen. Vom Brooktorhafen aus transportierten kleinere Boote die Waren weiter. An der Südseite führte außerdem ein Eisenbahnanschluss bis in das Erdgeschoss des Gebäudes.
Im Jahre 1890 erwarb die Stadt Hamburg den Komplex. Sie ist noch heute Eigentümerin des Gebäudes und vermietete es über die stadteigene Hamburger Hafen und Logistik AG (HHLA) bis 2003 für die Lagerung von Waren. Letzter Nutzer war die Gebr. Heinemann KG, deren Verwaltungsgebäude direkt an den Speicher grenzt.
Am 14. Juni 2005 legten Hamburgs damaliger Erster Bürgermeister Ole von Beust und Museumsgründer Peter Tamm einen zweiten Grundstein im unrenovierten Speicher. Wenige Tage später begann der Umbau, für den die Stadt Hamburg 30 Millionen Euro aufbrachte.
Der Plan für die Renovierung und – behutsame – Umgestaltung stammt von der Hamburger Architektin Mirjana Markovic. Sie sah vier korrespondierende „Lufträume“ vor, die jeweils drei Stockwerke des Speichers verbinden. Eine Fußgängerbrücke im Norden und die öffentliche Passage durch das Gebäude, Shop, Café und Restaurant machen das Museum zu einem Bindeglied zwischen Speicherstadt und HafenCity.
Das denkmalgeschützte Gebäude erforderte Fingerspitzengefühl. Mehr als 150 Bauleute stemmten 50.000 Steine von Hand heraus, begutachteten und überarbeiteten sie und setzen sie wieder ein. Auch bei der Einrichtung der für ein modernes Museum notwendigen Treppenhäuser und Aufzüge verzichteten die Arbeiter weitgehend auf schweres Gerät.
Ein zweites Richtfest feierte die Peter Tamm sen. Stiftung am 12. Mai 2006, und am 21. Dezember 2006 wurde der fertige Bau abgenommen: Das Internationale Maritime Museum Hamburg konnte einziehen.
