Тем не менее князь Дмитрий попал в немилость и был лишен половины имущества за то, что в постный день попотчевал московского митрополита гусем под видом рыбы.
Правнук Дмитрия, князь Николай Борисович, рассказывает, как однажды, ужиная в Зимнем дворце у императрицы Екатерины II, на вопрос ее, умеет ли он разрезать гуся, отвечал: «Мне ли того не уметь, заплативши столь дорого!» Императрица пожелала узнать историю и, узнав, очень смеялась. «Прадед ваш получил по заслугам, – сказала она, – а остатка имения на гусей вам хватит, еще и меня с семейством прокормите».