Как работает GPT?

По скриптас

использует словарь

Это нейронная сеть, которой скормили огромное количество текстов. Это фактически чуть более продвинутый алгоритм автодополнения текста (как у тебя в телефоне). Он видит буквы и прогнозирует следующие буквы (точнее токены), на основе текстов, которые ему скормили. Компьютерного собеседника не существует, он придуман этим самым автодополнением текста, так как ему подается текст в виде чата и он продолжает этот чат. Более того, он может продолжить отвечать уже за пользователя, но это фиксируется и обрезается.

Тут расписано: https://habr.com/ru/companies/ods/articles/716918/