Как найти или создать ИИ, способный делать действия (клик мыши, ввод), в зависимости от того, что написано на экране?

Question

Как найти или создать ИИ, способный делать действия (клик мыши, ввод), в зависимости от того, что написано на экране?

Ибра Магнат Знаток (339), на голосовании 2 недели назад

Нужна нейросеть или код на Python, которая способна считывать данные с экрана (текст, кнопки, изображение) и на их основе выполнять определенные действия, кликать по экрану, вводить текст. По сути мне нужен автокликер, но очень умный. Которому можно написать условие по типу: " If (если) на квадрате X: 150-300, Y: 150, есть надпись "Вход" то кликнуть по координатам: Х: 154 Y: 322" - "Else (в противном случае) кликнуть по координатам X: 200 y: 200"

Дополнен 1 месяц назад

Мдаааа, а ведь когда-то, Mail ответы, действительно помогали, и не были подобны комментариям в инстаграме, где каждый умничает и несет свою чепуху

Answer 1

Это как минимум 2 языка програмированния надо учить, русский и английский

Answer 2

Из ии здесь лишь ocr задача распознавание текста. Варианты её решения в интернете выложены с объяснениями и исходным кодом. Снимок экрана сделать вообще не проблема. Сможете ли эту задачу сделать конкретно Вы - неизвестно. Скорее нет, чем да

Answer 3

Сама "нейросеть" ничего такого делать точно не сможет. Нейросеть - это, если говорить упрощённо, функция, которая принимает на вход вектор с входными данными, что-то делает, и выдает другой вектор. И этот выходной вектор уже можно как-то интерпретировать. Тебе помимо модели, которая будет что-то во что-то преобразовывать - непонятно во что, это тебе надо придумать. И конечно логику, которая будет получать от модели какие-то данные и правильно куда-то нажимать