Позднее. Если нет желания прямо противоречить собеседнику, то ответ на замечание лучше отложить до более удобного с тактической и психологической точки зрения момента. Часто бывает, что за счет отсрочки исчезает сама необходимость отвечать на замечание, так как ответ уже стал очевиден сам по себе.