ШІ та машинне навчання
Що таке температура в LLM?
Температура (temperature) — це параметр генерації великих мовних моделей, який визначає, наскільки випадковими будуть відповіді. На кожному кроці модель обчислює ймовірності можливих наступних токенів, а температура змінює те, як із них обирається продовження.
За низької температури (близько 0) модель майже завжди обирає найімовірніший токен: відповіді стають точнішими, стабільнішими й однаковими при повторних запитах. За високої температури (0,8–1 і вище) шанси отримують і менш імовірні варіанти: тексти різноманітніші й креативніші, але зростає ризик помилок і безглуздя.
Поруч із температурою часто налаштовують top_p — модель обирає лише з найімовірніших токенів, сумарна ймовірність яких не перевищує заданого порогу. Зазвичай рекомендують змінювати один із цих параметрів, а не обидва одночасно.
Де застосовується
Температуру налаштовують при роботі з LLM через API чи в інструментах на кшталт n8n: низьку — для витягування даних із тексту, класифікації, генерації коду, відповідей на основі документів (RAG); вищу — для мозкового штурму, рекламних текстів, назв і творчих завдань.
Для автоматизацій і AI-агентів, де важлива передбачуваність і правильний формат відповіді, зазвичай обирають низьку температуру, щоб результати не відрізнялися від запуску до запуску.
Приклад
Два запити з різною температурою через API.
from openai import OpenAI
client = OpenAI()
# Low temperature — precise, repeatable answers
client.chat.completions.create(
model="your-model",
temperature=0.1,
messages=[{"role": "user", "content": "Extract the phone number from: ..."}],
)
# High temperature — more varied, creative answers
client.chat.completions.create(
model="your-model",
temperature=0.9,
messages=[{"role": "user", "content": "Suggest 5 names for a coding school blog"}],
)
Часті запитання
Чи гарантує температура 0 однакові відповіді?
Майже, але не завжди: через особливості обчислень на сервері відповіді можуть трохи відрізнятися. Для повної відтворюваності деякі API пропонують додатковий параметр seed.
Чи зменшує низька температура галюцинації?
Частково: модель рідше обирає малоймовірні варіанти. Але якщо модель не знає правильної відповіді, вона може впевнено вигадати її й за низької температури. Проти галюцинацій краще допомагає RAG і перевірка фактів.
Яку температуру ставити за замовчуванням?
Багато сервісів використовують значення близько 0,7–1 для чату. Для робочих автоматизацій, коду й аналізу даних краще починати з 0–0,3 і підвищувати лише за потреби.
Навчання програмуванню в OWU
Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.
Обрати курс