ШІ та машинне навчання

Що таке fine-tuning (донавчання моделі)?

Fine-tuning (донавчання моделі) — це додаткове навчання готової моделі на вашому наборі прикладів, щоб вона засвоїла потрібний стиль, формат відповіді або специфіку вузької галузі. При цьому змінюються ваги моделі, і ви отримуєте власну версію моделі.

Донавчання має сенс, коли модель має стабільно поводитися певним чином: дотримуватися чіткого формату, тону бренду, правильно вживати рідкісні терміни. Для цього потрібні сотні чи тисячі якісних пар «запит — зразкова відповідь», а також час і гроші на навчання.

Донавчання не дає моделі знань про нові події і не замінює доступу до внутрішніх документів. Те, чого модель навчилася, «застигає» у вагах, і оновити це можна лише новим навчанням.

Де застосовується

До донавчання звертаються, коли від моделі потрібна стабільна поведінка, а не знання фактів: єдиний тон спілкування бренду, суворий формат відповідей, галузева термінологія, обробка документів за внутрішніми правилами компанії.

Зазвичай спершу пробують обійтися хорошим промптом, потім — пошуком у власних документах, і лише якщо цього мало — донавчанням. Причина в ціні: потрібен розмічений набір прикладів, обчислювальні ресурси, оцінка якості і повторення всього процесу, коли виходить нова версія базової моделі.

Приклад

Служба підтримки хоче, щоб відповіді завжди мали однакову структуру: привітання, суть, наступний крок, підпис. Через промпт модель дотримується цього не завжди. Після донавчання на тисячі реальних діалогів вона тримає структуру без додаткових інструкцій.

{
  "messages": [
    { "role": "system", "content": "Ти оператор підтримки онлайн-школи." },
    { "role": "user", "content": "Чи можна перенести навчання на наступний потік?" },
    { "role": "assistant", "content": "Доброго дня! Так, перенесення можливе до старту групи. Надішліть номер договору — оформимо за один робочий день. З повагою, служба підтримки." }
  ]
}

Навчальний приклад «запит — зразкова відповідь»: із тисяч таких рядків складається набір для донавчання.

Fine-tuning чи RAG: що обрати

Просте правило: RAG вчить модель, що казати, — він додає до запиту актуальні факти. Fine-tuning вчить, як казати, — закріплює форму, стиль і поведінку. Для бази знань, що часто змінюється, майже завжди потрібен RAG, а для сталого формату відповідей — донавчання. Часто їх поєднують.

Часті запитання

Що таке LoRA і чим вона відрізняється від повного донавчання?

LoRA — спосіб донавчання, коли основні ваги моделі не змінюються, а навчається лише невеликий додатковий набір параметрів. Це в рази дешевше і швидше, результат займає мегабайти, а не гігабайти, а якість для більшості практичних задач майже така сама.

Скільки прикладів потрібно для донавчання?

Щоб закріпити стиль або формат, часто вистачає кількох сотень якісних пар. Важливіша за кількість однорідність: якщо приклади суперечать один одному, модель засвоїть цю непослідовність. Поганий набір даних може зробити модель гіршою за початкову.

Скільки коштує донавчання моделі?

Саме навчання на хмарній платформі для невеликого набору коштує десятки доларів. Основні витрати — підготовка і перевірка даних, а також повторення процесу щоразу, коли виходить нова версія базової моделі.

Чи можна донавчити модель на своїх документах, щоб вона їх «знала»?

Так роблять, але результат зазвичай розчаровує: модель переймає стиль документів, а не факти, і далі вигадує деталі. Щоб відповідати за конкретними документами, правильний інструмент — пошук у власній базі, а не донавчання.

Навчання програмуванню в OWU

Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.

Обрати курс