Ярлык Python на стандартный

Сине жёлтый щас у нас негативный цвет. Так оставь

Открыл контекстное меню, выбрал открыть с помощью, затем выбрал открыть через интерпретатор питона. Вероятнее всего, ты открываешь его через VS Code и поставил флаг - открывать все файлы такого типа по умолчанию.
Можно на самом деле установить любой значок, но это требует усилий и программ, к примеру, можно отредактировать exe программы и там заменить иконку внутри. Но смысла в этом особо нет.