Фламандские края ему окончательно опостылели, и он отправился в Женеву. Тут, болтаясь без цели по берегам озера, он узнал, что схватили его супругу графиню де Бомон и его троих сыновей. Филипп VI, желая наказать Робера, не остановился перед тем, чтобы заточить свою собственную сестру сначала в Немурскую башню, а затем в Шато-Гайар. В узилище Маргариты! Воистину Бургундия сумела взять реванш!