Phone icon Зв'язатись з нами

ШІ та машинне навчання

Що таке температура в LLM?

Температура (temperature) — це параметр генерації великих мовних моделей, який визначає, наскільки випадковими будуть відповіді. На кожному кроці модель обчислює ймовірності можливих наступних токенів, а температура змінює те, як із них обирається продовження.

За низької температури (близько 0) модель майже завжди обирає найімовірніший токен: відповіді стають точнішими, стабільнішими й однаковими при повторних запитах. За високої температури (0,8–1 і вище) шанси отримують і менш імовірні варіанти: тексти різноманітніші й креативніші, але зростає ризик помилок і безглуздя.

Поруч із температурою часто налаштовують top_p — модель обирає лише з найімовірніших токенів, сумарна ймовірність яких не перевищує заданого порогу. Зазвичай рекомендують змінювати один із цих параметрів, а не обидва одночасно.

Де застосовується

Температуру налаштовують при роботі з LLM через API чи в інструментах на кшталт n8n: низьку — для витягування даних із тексту, класифікації, генерації коду, відповідей на основі документів (RAG); вищу — для мозкового штурму, рекламних текстів, назв і творчих завдань.

Для автоматизацій і AI-агентів, де важлива передбачуваність і правильний формат відповіді, зазвичай обирають низьку температуру, щоб результати не відрізнялися від запуску до запуску.

Приклад

Два запити з різною температурою через API.

from openai import OpenAI
client = OpenAI()

# Low temperature — precise, repeatable answers
client.chat.completions.create(
    model="your-model",
    temperature=0.1,
    messages=[{"role": "user", "content": "Extract the phone number from: ..."}],
)

# High temperature — more varied, creative answers
client.chat.completions.create(
    model="your-model",
    temperature=0.9,
    messages=[{"role": "user", "content": "Suggest 5 names for a coding school blog"}],
)
Параметр temperature для точних і для креативних задач.

Часті запитання

Чи гарантує температура 0 однакові відповіді?

Майже, але не завжди: через особливості обчислень на сервері відповіді можуть трохи відрізнятися. Для повної відтворюваності деякі API пропонують додатковий параметр seed.

Чи зменшує низька температура галюцинації?

Частково: модель рідше обирає малоймовірні варіанти. Але якщо модель не знає правильної відповіді, вона може впевнено вигадати її й за низької температури. Проти галюцинацій краще допомагає RAG і перевірка фактів.

Яку температуру ставити за замовчуванням?

Багато сервісів використовують значення близько 0,7–1 для чату. Для робочих автоматизацій, коду й аналізу даних краще починати з 0–0,3 і підвищувати лише за потреби.

Навчання програмуванню в OWU

Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.

Обрати курс