Температура модели: что это простыми словами

Температура модели — это параметр генерации текста у нейросети, который задаёт степень случайности ответа: насколько модель готова отклониться от самого вероятного слова. Значение выставляет тот, кто обращается к модели — через код, API или настройки интерфейса, — и от него зависит, выйдет ответ ровным и повторяемым или живым и неожиданным.

Что это простыми словами

Нейросеть генерирует текст по одному токену за раз. На каждом шаге она не выбирает единственно верное слово — она держит список вероятных вариантов и решает, какой взять.

Температура меняет, насколько жёстко модель держится за самый вероятный вариант. Низкая температура — модель почти всегда берёт то, что вероятнее всего, ответ выходит сухим и предсказуемым. Высокая — модель чаще соглашается на менее вероятные слова, ответ получается разнообразнее, иногда до странности.

Название пришло из физики: в статистической механике температура определяет, насколько хаотично ведут себя частицы. Разработчики нейросетей позаимствовали эту метафору для описания того же эффекта — степени хаотичности при выборе токена.

Как это устроено

Перед выбором токена модель строит распределение вероятностей по всему словарю: одному токену достаётся больше шансов, другому — меньше, остальным — по крохам. Температура меняет форму этого распределения перед тем, как из него тянут жребий.

Температуру задают числом от нуля и выше, конкретный потолок зависит от сервиса. Ноль — модель почти детерминирована и всегда выбирает самый вероятный токен. Чем выше температура, тем ровнее становится распределение, и у редких токенов растут шансы попасть в ответ.

Пример из жизни

Если просить модель придумать заголовок для одного и того же товара при температуре, близкой к нулю, она раз за разом выдаёт один и тот же вариант. Для юридического текста или техописания, где важна стабильность, это и нужно.

Поднимаешь температуру — и та же модель на тот же запрос начинает предлагать разные формулировки: игривые, неожиданные, иногда мимо цели. То же самое видно, если просить придумать названия для нового продукта: при низкой температуре модель выдаёт несколько похожих вариантов, при высокой — набор смелых и разных идей, часть из которых окажется неудачной.

Для бота поддержки, который должен одинаково отвечать на одинаковый вопрос, держат низкую температуру. Для генератора идей или черновиков — высокую: там разнообразие и есть смысл.

С чего начать

В готовых чат-интерфейсах температуру почти никогда не видно — она скрыта за настройками по умолчанию. Параметр открывается, когда работаешь через API или пишешь код: значение передаётся в запросе вместе с промптом.

Начинать стоит с низкой температуры и поднимать её по шагам, проверяя, не ломается ли смысл ответа. Для кода, расчётов и фактов температуру держат ближе к нулю. Для постов, идей и черновиков — поднимают выше.

Вопросы и ответы

Что такое температура нейросети?

Температура нейросети — параметр генерации текста, который задаёт, насколько ответ будет предсказуемым или разнообразным: ниже значение — модель держится за самый вероятный вариант, выше — чаще отклоняется от него.

Какая температура модели лучше — высокая или низкая?

Зависит от задачи. Для точных ответов — код, расчёты, факты, поддержка — подходит низкая температура. Для творческих текстов, идей и черновиков — высокая: там полезно разнообразие.

Где настраивается температура модели?

В большинстве готовых чат-интерфейсов её не видно — она скрыта в настройках по умолчанию. Параметр доступен при работе через API или код: его передают числом вместе с промптом.