В Великом посольстве к европейским дворам 1697 г. Головин был вторым после Ф. Я. Лефорта полномочным послом. После возвращения в Россию Головин был назначен начальником вновь образованного Военного морского приказа, заведовал Монетным двором. В 1699 г., после смерти Лефорта, получил звание генерал-адмирала и стал первым кавалером ордена Св. Андрея Первозванного.
Петр I поручил ему заниматься иностранными делами, в 1699 г. Головин вместе с царем вел секретные переговоры о заключении договоров с Саксонией и Данией. В 1700 г. Головин был назначен начальником Посольского приказа, т. е. руководил внешней политикой России. При нем была создана система постоянных русских представительств за границей.