Почему deep seek постоянно выдает разные ответы?
если спрашиваю одно и то же - с обновлением вопроса, он постоянно выдает разные вероятности на один и тот же вопрос и разное объяснение, разный вывод, почему?
если например задать один и тот же вопрос снова
Какая креативность? Какие концепции? Просто пишу математическое школьное выражение и прошу упростить его. Каждый раз он упрощает его по разному и каждый раз выдаёт разные ответы, ничего общего не имеющие с исходным - врёт не краснея. Бредятина какая-то(((. И каждый раз то на русском рассуждает, то на английском, то на китайском - это бесит окуенно. Правильно пишут, что там температура - бо-бо: "бэлый бэлый - савсэм гарачий". Я разочаровался в DeepSeek(((
Китайский менталитет. Склонность ко лжи.
-
Как именно рандомизируется? (Механизмы)
В коде и архитектуре нейросетей есть два главных параметра, управляющих этой рандомизацией. Они обычно задаются при вызове модели (в API, в интерфейсе чата через настройки «Температура» и «Top-p»):
Температура — главный регулятор «креативности».
Низкая температура (0.0 – 0.3): Рандомизация почти отключена. Модель почти всегда выбирает самый вероятный токен. Ответы детерминированы (одинаковы) и предсказуемы.
Средняя температура (0.7 – 1.0): Оптимальный баланс. Рандомизация работает в полную силу, но маловероятные токены выбираются редко.
Высокая температура (> 1.0): Сильная рандомизация. Модель «дурачится» — выбирает даже не очень вероятные токены, из-за чего ответы становятся неожиданными, творческими, но могут быть бессмысленными.
Top-p (или nucleus sampling) — отсекает маловероятные варианты.
Перед рандомизацией модель смотрит на все возможные следующие слова, сортирует их по вероятности и отбрасывает те «длинные хвосты», которые суммарно дают, скажем, последние 10% вероятности.
Пример: Модель думает: «Вероятность "кот"=80%, "кошка"=15%, "мяу"=3%, "собака"=1%, "тигр"=0.5%, "крокодил"=0.5%». При Top-p = 0.9 она отбросит всё, начиная с «мяу», потому что слова «падаван» и «крокодил» всё равно почти никогда не выпадут. Это повышает качество рандомизации.
Почему это делается, а не берётся всегда максимум?
Если всегда брать максимум (температура = 0), то:
Нейросеть будет давать один и тот же ответ на один и тот же вопрос («это кот» всегда).
Она никогда не проявит креативность.
Она не сможет объяснить одну и ту же концепцию разными словами.
Она зациклится в длинных текстах.
Значит, либо на этот вопрос нет конкретного ответа (который дипсик знает), либо сам вопрос задан так, что подразумевает наличие мнения, а не фактов.