icon = pygame.image.load('image/icon.png').convert_alpha() # или можно convert()
pygame.display.set_icon(icon)
pygame.display.set_mode((800, 600)) # можно любой размер экрана
или так, с использованием pygame_iconify: import pygame
import pygame_iconify
icon = pygame.image.load('image/icon.png')
pygame_iconify.iconify(icon)
pygame.display.set_mode((800, 600))
#устанавливаю иконку
pygame.display.set_icon(icon)