вверх воспринимается, как снисходительный, его легко можно истолковать как мысленное сожаление: «Зачем я с тобой разговариваю?». Это тоже не лучший вариант.
Если же вы отводите глаза в сторону, то сообщаете, что находитесь на одном уровне с собеседником, просто вам нужно обдумать сказанное.
Отводите взгляд медленно. Пусть другой человек почувствует, что вы это делаете как бы нехотя. Так вы показываете, что связь между вами важнее, чем мысли, которые вдруг пришли вам в голову.