К концу царствования Екатерины Великой 26-летний граф Остерман-Толстой уже полковник. Павел I произвел его в феврале 1798 года в генерал-майоры и назначил шефом Шлиссельбургского мушкетерского полка. Но уже через два месяца молодой генерал попал в немилость к новому императору и был изгнан с военной службы (переименован в действительные статские советники «для определения к статским делам»). Сразу после воцарения Александра I Остерман-Толстой вернулся на военную службу. Участник войн с наполеоновской Францией 1805 и 1806–1807 годов: отличился в сражениях под Пултуском (декабрь 1806 г., золотая шпага «За храбрость» с алмазами), Прейсиш-Эйлау (январь 1807 г.), Гутштадтом (май 1807 г., тяжело ранен в ногу). Произведен в генерал-лейтенанты и награжден орденом Св. Георгия III степени (1806 г.).
После возвращения в Россию и выздоровления назначен командиром лейб-гвардии Преображенского полка и 1-й гвардейской пехотной дивизии. Остерман-Толстой крайне отрицательно отнесся к Тильзитскому миру с Францией, возглавил так называемую военную оппозицию и в октябре 1810 года вышел в отставку. С 1800 года – член Петербургского Английского собрания, в 1802-м – один из основателей масонской ложи Соединенных друзей, член ложи Сфинкса в 1811–1822 годах. Заметим, что в эти ложи входили многие будущие декабристы.