Прогнав из Ростовской земли больших отцовых бояр, он окружил себя такой дворней, которая, в благодарность за его барские милости, отвратительно его убила и разграбила его дворец.
Не спросившись отца, он тихонько ушел на свой родной суздальский север, захватив с собой из Вышгорода принесенную из Греции чудотворную икону Божьей Матери, которая стала потом главной святыней Суздальской земли под именем Владимирской.
Современники заметили в нем эту двойственность, смесь силы со слабостью, власти с капризом. «Такой умник во всех делах, – говорит о нем летописец, – такой доблестный, князь Андрей погубил свой смысл невоздержанием», т. е. недостатком самообладания.
Летопись глухо намекает, как плохо слажено было общество, в котором вращался Андрей. «Ненавидели князя Андрея свои домашние, – говорит она, – и была брань лютая в Ростовской и Суздальской земле».