Можно не смотреть. И даже совершенно необязательно смотреть человеку в лицо во время разговора. Не всем и нравится, если собеседник долго и пристально на него смотрит. Такой бесцеремонный взгляд можно посчитать за элементарную невоспитанность.
Зрительный контакт, кстати, отвлекает от нужной мысли, не давая на ней сосредоточиться.
А уж если это мужчина и женщина, то тысячи эмоций могут возникнуть как у него, так и у нее...И много отрицательных...