Семья Морозовых не одобряла нравы Арсения, а когда его родная мама Варвара Алексеевна впервые увидела диковинный особняк, то высказалась: «Раньше я одна знала, что ты дурак, а теперь об этом узнает вся Москва» – эти слова оказались накрепко связаны с домом на Воздвиженке.