Третьим Зимним дворцом Растрелли занимался уже в 1730-х гг. – государыня-императрица Анна Иоанновна поручила мастеру реконструкцию и объединение нескольких зданий на набережной Невы. Все бы хорошо, но Растрелли понимал, что необходим новый проект главного дворца Империи, величественный и достойный «славы Всероссийской». В 1753 г. появляется проект четвертого Зимнего дворца, строительство которого завершат другие архитекторы, без участия самого автора, в 1762 г. На время строительства Растрелли сооружает временный деревянный Зимний дворец и как раз на углу набережной реки Мойки и Невской перспективы, на участке сгоревшего Гостиного двора.