В 1920 году Жанна Пакен отошла от дел, оставив Мадлен Уоллис креативным директором. Но при Уоллис Дом не смог сохранить былую славу. К 1923 году Lucile Ltd. была продана и подвергнута реструктуризации. Леди Дафф Гордон перестала создавать модели для компании, хотя продолжала работать с частными клиентами и марками готовой одежды.