ИИ и машинное обучение

Что такое fine-tuning (дообучение модели)?

Fine-tuning (дообучение модели) — это дополнительное обучение готовой модели на вашем наборе примеров, чтобы она усвоила нужный стиль, формат ответа или специфику узкой отрасли. При этом меняются веса модели, и вы получаете собственную версию модели.

Дообучение имеет смысл, когда модель должна стабильно вести себя определённым образом: соблюдать чёткий формат, тон бренда, правильно употреблять редкие термины. Для этого нужны сотни или тысячи качественных пар «запрос — образцовый ответ», а также время и деньги на обучение.

Дообучение не даёт модели знаний о новых событиях и не заменяет доступа к внутренним документам. То, чему модель научилась, «застывает» в весах, и обновить это можно только новым обучением.

Где применяется

К дообучению обращаются, когда от модели нужно стабильное поведение, а не знание фактов: единый тон общения бренда, строгий формат ответов, отраслевая терминология, обработка документов по внутренним правилам компании.

Обычно сначала пробуют обойтись хорошим промптом, потом — поиском по собственным документам, и только если этого мало — дообучением. Причина в цене: нужен размеченный набор примеров, вычислительные ресурсы, оценка качества и повторение всего процесса, когда выходит новая версия базовой модели.

Пример

Служба поддержки хочет, чтобы ответы всегда имели одинаковую структуру: приветствие, суть, следующий шаг, подпись. Через промпт модель соблюдает это не всегда. После дообучения на тысяче реальных диалогов она держит структуру без дополнительных инструкций.

{
  "messages": [
    { "role": "system", "content": "Ты оператор поддержки онлайн-школы." },
    { "role": "user", "content": "Можно ли перенести обучение на следующий поток?" },
    { "role": "assistant", "content": "Добрый день! Да, перенос возможен до старта группы. Пришлите номер договора — оформим за один рабочий день. С уважением, служба поддержки." }
  ]
}

Учебный пример «запрос — образцовый ответ»: из тысяч таких строк складывается набор для дообучения.

Fine-tuning или RAG: что выбрать

Простое правило: RAG учит модель, что говорить, — он добавляет к запросу актуальные факты. Fine-tuning учит, как говорить, — закрепляет форму, стиль и поведение. Для базы знаний, которая часто меняется, почти всегда нужен RAG, а для постоянного формата ответов — дообучение. Часто их сочетают.

Частые вопросы

Что такое LoRA и чем она отличается от полного дообучения?

LoRA — способ дообучения, при котором основные веса модели не меняются, а обучается только небольшой дополнительный набор параметров. Это в разы дешевле и быстрее, результат занимает мегабайты, а не гигабайты, а качество для большинства практических задач почти такое же.

Сколько примеров нужно для дообучения?

Чтобы закрепить стиль или формат, часто хватает нескольких сотен качественных пар. Важнее количества однородность: если примеры противоречат друг другу, модель усвоит эту непоследовательность. Плохой набор данных может сделать модель хуже исходной.

Сколько стоит дообучение модели?

Само обучение на облачной платформе для небольшого набора стоит десятки долларов. Основные расходы — подготовка и проверка данных, а также повторение процесса каждый раз, когда выходит новая версия базовой модели.

Можно ли дообучить модель на своих документах, чтобы она их «знала»?

Так делают, но результат обычно разочаровывает: модель перенимает стиль документов, а не факты, и продолжает выдумывать детали. Чтобы отвечать по конкретным документам, правильный инструмент — поиск по собственной базе, а не дообучение.

Обучение программированию в OWU

Освойте профессию в IT на практических курсах с менторами и реальными проектами.

Выбрать курс