ИИ и машинное обучение
Что такое температура в LLM?
Температура (temperature) — это параметр генерации больших языковых моделей, который определяет, насколько случайными будут ответы. На каждом шаге модель вычисляет вероятности возможных следующих токенов, а температура меняет то, как из них выбирается продолжение.
При низкой температуре (около 0) модель почти всегда выбирает самый вероятный токен: ответы становятся точнее, стабильнее и одинаковыми при повторных запросах. При высокой температуре (0,8–1 и выше) шансы получают и менее вероятные варианты: тексты разнообразнее и креативнее, но растёт риск ошибок и бессмыслицы.
Рядом с температурой часто настраивают top_p — модель выбирает только из самых вероятных токенов, суммарная вероятность которых не превышает заданного порога. Обычно рекомендуют менять один из этих параметров, а не оба одновременно.
Где применяется
Температуру настраивают при работе с LLM через API или в инструментах вроде n8n: низкую — для извлечения данных из текста, классификации, генерации кода, ответов на основе документов (RAG); более высокую — для мозгового штурма, рекламных текстов, названий и творческих задач.
Для автоматизаций и AI-агентов, где важны предсказуемость и правильный формат ответа, обычно выбирают низкую температуру, чтобы результаты не отличались от запуска к запуску.
Пример
Два запроса с разной температурой через API.
from openai import OpenAI
client = OpenAI()
# Low temperature — precise, repeatable answers
client.chat.completions.create(
model="your-model",
temperature=0.1,
messages=[{"role": "user", "content": "Extract the phone number from: ..."}],
)
# High temperature — more varied, creative answers
client.chat.completions.create(
model="your-model",
temperature=0.9,
messages=[{"role": "user", "content": "Suggest 5 names for a coding school blog"}],
)
Частые вопросы
Гарантирует ли температура 0 одинаковые ответы?
Почти, но не всегда: из-за особенностей вычислений на сервере ответы могут немного отличаться. Для полной воспроизводимости некоторые API предлагают дополнительный параметр seed.
Уменьшает ли низкая температура галлюцинации?
Частично: модель реже выбирает маловероятные варианты. Но если модель не знает правильного ответа, она может уверенно выдумать его и при низкой температуре. Против галлюцинаций лучше помогают RAG и проверка фактов.
Какую температуру ставить по умолчанию?
Многие сервисы используют значение около 0,7–1 для чата. Для рабочих автоматизаций, кода и анализа данных лучше начинать с 0–0,3 и повышать только при необходимости.
Обучение программированию в OWU
Освойте профессию в IT на практических курсах с менторами и реальными проектами.
Выбрать курс