Особняк по семейному разделу был передан третьему сыну Салтыкова – Сергею Васильевичу (1726–1765), молодому придворному цесаревны Екатерины Алексеевны, которая, называя его «выдающейся личностью», из-за бесшабашного и ветреного нрава иронически отзывалась о нем одновременно, как о «пятом колесе в карете». На набережной камергер почти не жил, ибо пребывал дипломатом в Европе, и потому в 1763 году поручил доверенному лицу продать за 14 тыс. руб. дом Ивану Юрьевичу Фридрихсу (Фридерикс, 1728–1779), богатому английскому купцу и придворному банкиру.