В телеф. разговорах при объяснении часто говорят слово "смотрите", "вот смотрите". Куда смотреть-то? Не "сорняк" ли?

Абсолютно спокойно отношусь.
У глагола смотреть много значений, и не только приведённое вами.

Есть, например, значение, "придерживаться какого-либо мнения"

Как вы на это смотрите? Как вы смотрите на то, чтобы ...Смотреть на вещи мрачно.
Как видите, здесь тоже нет прямого значения "воспринимать зрительно"

Выражает побуждение и предостережение. (!!!!)
Смотри (те) , не делай (те) этого.
Смотри не опоздай на работу! Смотрите, чтобы он не пришёл! Смотри, он тебя обманет. - и это значение, взятое из словаря. Поэтому говорящие "Вот смотрите" никоим образом не нарушают нормы языка.

Выписка всех значений.

1) Направлять взгляд куда-л. , чтобы увидеть. Смотреть в окно. Смотреть в зеркало.

2) Осматривать, обозревать с целью ознакомления, проверки, выяснения чего-л. и т. п. Смотреть выставку. Смотреть свежие газеты.

3) Воспринимать зрительно и интеллектуально. Смотреть балет. Смотреть новую пьесу. Смотреть любимого актёра. Смотреть с удовольствием, с интересом.

4) Производить обследование. Смотреть больного. Врач смотрел меня три раза, но ничего не обнаружил.

5) Относиться каким-л. образом к кому-, чему-л. ; иметь какую-л. точку зрения на что-л. Смотреть на невезение с философским спокойствием. Смотреть легко на жизнь.

6) (- посмотреть) за кем-чем или с союзом чтобы. Следить, заботиться, опекать. Смотреть за порядком. Смотреть за чистотой. Смотреть за детьми. С

7) кем-чем или как. Иметь какой-л. вид, выглядеть каким-л. образом. Смотреть победителем. Смотреть сычом, букой. Смотреть зверем, волком. Смотреть злобно. Смотреть влюблённо, ласково. Смотреть приветливо.

8) кого-что с предлогом в Стремиться, метить куда-л. Смотреть в начальники. Смотреть в аристократы. Смотрит в невесты.

"Окна спальни смотрят на лес. " у вас не вызывает дискомфорта? Ведь у комнаты нет глаз. )))

А "сорняком" может стать любое слово, которое звучит слишком часто, а потому режет слух.