Когда же Наполеон вернулся к власти после Эльбы, Монтолон вновь поступил к нему на службу в качестве камергера и… последовал за ним на остров Святой Елены. Почему? Стен Форсхувуд так ответил на этот вопрос: «Монтолону было приказано войти в доверие к Наполеону и сопровождать его на Святую Елену, чтобы отравить его там. Этот приказ мог исходить только от графа д’Артуа, уже столько раз выступавшего организатором покушений на жизнь императора. Почему Монтолон согласился выполнять такое ужасающее поручение? Думаю, граф д’Артуа передал Монтолону, без сомнения через его отчима, что, если тот откажется, его бросят в тюрьму за кражу солдатского жалованья»