Как сделать такие иконки на виндовс 10

Это обычные МП4 файлы!
(просто открываются они через какой то нестандартный плеер!(у которого превью с такими рамками)-птму там и рамки по бокам у видео такие!)

Это вроде виндовс 11. Либо найди в инете кастомный проводник (опасно вирусы может быть наверное), либо обновись, там уже исправили всё

Обычно видео файлы так и отображаются, если плеер виндовс их поддерживает.

в настройках вашего "проводника" покопаться, найти "галочку" включающую "предпросмотр" или "миниатюры". И выбрать, для каких форматов файлов будут рисоваться миниатюры их содержимого.