В 1682 году дворец был куплен фаворитом Людовика XIV герцогом Лозеном (вскоре, впрочем, впавшим в немилость), а в 1779 году маркизом Пимоданом, однако период его «блеска и нищеты» наступил в 1842-м, когда он был куплен знаменитым библиофилом бароном Пишоном.