ИИ и машинное обучение

Что такое контекстное окно (context window)?

Контекстное окно (context window) — это наибольший объём текста в токенах, который языковая модель может учитывать за один раз: системный промпт, историю разговора, добавленные файлы и собственный ответ. Всего, что не поместилось, для модели не существует.

Когда разговор становится длиннее окна, первые сообщения отбрасываются, и модель перестаёт «помнить», о чём договорились в начале. Это не забывчивость в человеческом понимании: эти токены просто не передаются модели.

Даже большое окно не отменяет необходимости отбирать данные. Чем больше лишнего в контексте, тем дороже запрос и тем легче модели пропустить важное. Поэтому в рабочих системах вместо «загрузим всё» используют RAG — добавление только нужных фрагментов.

Где применяется

От размера окна зависит, что можно поручить модели за один запрос: разобрать весь договор или только раздел, учесть всю переписку с клиентом или несколько последних сообщений, проанализировать один файл проекта или целый модуль.

Когда данные не помещаются, используют обходные пути. Документы делят на части и через поиск добавляют только нужные, длинную переписку периодически сокращают до итога, а большую задачу разбивают на несколько шагов и передают промежуточный результат дальше.

Пример

В начале длинного разговора пользователь назвал свой город, а через сотню сообщений модель отвечает так, будто не знает его. Причина не в забывчивости: первое сообщение вышло за пределы окна и просто отсутствует в запросе.

Частые вопросы

Что будет, если текст не помещается в контекстное окно?

Лишнее просто не попадает в запрос: чаты обычно отбрасывают самые старые сообщения, а запрос напрямую через API возвращает ошибку. Отброшенной части для модели не существует, и она не может на неё ссылаться.

Чем контекстное окно отличается от памяти модели?

Окно — это рабочая память одного запроса, она исчезает после ответа. Долговременной памяти у модели нет: всё, что она «помнит» между разговорами, сервис каждый раз заново добавляет в запрос — сохранённые заметки, историю, найденные документы.

Всегда ли большое контекстное окно лучше?

Нет. Длинный контекст дороже и обрабатывается дольше, а при переполненном окне качество может падать, потому что важное теряется среди лишнего. Часто выгоднее выбрать несколько нужных фрагментов, чем отправлять документ целиком.

В чём измеряется размер контекстного окна?

В токенах, и в этот объём входит всё: системная инструкция, история разговора, прикреплённые файлы и ответ модели. Поэтому при лимите, например, двести тысяч токенов места для ваших данных всегда немного меньше.

Обучение программированию в OWU

Освойте профессию в IT на практических курсах с менторами и реальными проектами.

Выбрать курс