Только в 1755 г. на месте сгоревшего Гостиного двора архитектор В. В. Растрелли построил временный деревянный дворец для императрицы Елизаветы Петровны. Его возвели на время строительства нового (пятого) Зимнего дворца, который сейчас стоит на Дворцовой площади, выходя своим северным фасадом на набережную Невы.