У Эдуарда был незаконнорожденный сын Адам еще до того, как он стал королем. Изабелла родила от него двух сыновей и двух дочерей.
Точно можно сказать только то, что король предпочитал компанию Гавестона обществу своей невесты. Он женился на Изабелле, дочери короля Франции, которой было двенадцать лет, по приказу своего отца, намеревающегося создать великий и процветающий территориальный альянс. Свадьба прошла во Франции за месяц до коронации, и в свое отсутствие Эдуард назначил Гавестона хранителем королевства. Этого самого по себе было достаточно, чтобы вызвать ярость и зависть великих английских магнатов. Одним из первых действий Эдуарда в качестве короля было пожалование Гавестону титула графа Корнуоллского, который обычно дается только членам королевской семьи. Это было серьезным нарушением придворного протокола, а не просто проблемой этикета. Кроме того, стоял вопрос не только о титуле, но и о землях, и о деньгах; если король распределяет их неправильно, то может ли кто-нибудь чувствовать себя в безопасности? Даже считалось, что Гавестон сам заправляет двором, раздавая привилегии и награды и не советуясь с баронами. При королевском дворе XIV века не было более высокого положения, и это немедленно вызвало мысли о том, справедлив ли король.
Гавестон только усугубил ситуацию своим воинственным нравом и сильным ощущением собственной важности. Говорили, что он «высокомерен и заносчив» и обладает гордостью, которая «невыносима для баронов». Главным магнатам он придумывал прозвища, такие как Черная Собака графу Уорику и Лопни брюхо графу Линкольну. Он наслаждался королевской милостью.
Весной 1308 года собрался парламент, на котором граф Линкольн обратился к новой поправке в клятве во время коронации и потребовал, чтобы Гавестона удалили от двора. Эдуард отказался, но два месяца спустя под давлением магнатов и их вооруженных рыцарей он согласился изгнать своего фаворита в Ирландию.