С 1870-х гг. дом перешел в купеческие руки и тоже подвергся перестройкам. Последними его владельцами были очень известные русские предприниматели – Александр и Николай Второвы, которые имели резиденцию неподалеку отсюда, на Спасопесковской площадке, а этот дом сдавали внаем.
В 1910-х гг. тут обосновался Сергей Павлович Рябушинский, из известной семьи богачей-предпринимателей, известный как скульптор-анималист и член общества передвижников.