Морозов заказал проект архитектору Виктору Мазырину, вдохновившись невероятной красотой дворца Пена в португальском городе Синтра. Увидев его, наш миллионер решил построить нечто подобное в центре Москвы, после чего его мама Варвара Алексеевна резюмировала: «Всю жизнь знала, что ты дурак, а теперь об этом будет знать вся Москва». Еще на стадии строительства особняк стал объектом насмешек, сплетен, слухов и критических газетных публикаций. Общественное мнение восприняло экзотический проект как выражение крайней эксцентричности заказчика.