Каждым новым владельцем в доме Чичерина проводилась реконструкция – сооружались дополнительные пристройки, менялись интерьеры согласно модным веяньям в архитектуре. Так после приобретения дома в 1858 г. купцами Елисеевыми архитектор Николай Павлович Гребенка изменил фасады, отделку залов и комнат. В частности, колонны первого этажа по главному фасаду зодчий заменил пилонами, а круглые оконные проемы угловых частей превратил в прямоугольные. В таком виде дом Чичерина, названный горожанами «домом с колоннами», дожил до наших дней. Конечно, в прошлом веке утеряна вся внутренняя отделка – от эпохи классицизма сохранились лишь пара колонн и пилястр искусственного мрамора в Большом зале на третьем этаже. От Елисеевых остались камины, люстра и паркет в Бальном зале.