В 1870 г. дом расширили и отделали по фасаду (проект архитектора П.С. Кампиони). В 1889 г. он перешел к представителям династии богатых текстильщиков Морозовых. Последним владельцем дома перед правлением большевиков был Иван Абрамович Морозов, собиратель новой живописи, для которой архитектор Л.Н. Кекушев в 1905 г. переделывает интерьеры. По словам архитектора И.Е. Бондаренко, «собрание составлялось толково, прекрасно развешивалось, и вообще в его собрании было очень много вкуса».