ШІ та машинне навчання

Що таке контекстне вікно (context window)?

Контекстне вікно (context window) — це найбільший обсяг тексту в токенах, який мовна модель може враховувати за один раз: системний промпт, історію розмови, додані файли і власну відповідь. Усього, що не вмістилося, для моделі не існує.

Коли розмова стає довшою за вікно, перші повідомлення відкидаються, і модель перестає «пам’ятати», про що домовилися на початку. Це не забудькуватість у людському розумінні: ці токени просто не передаються моделі.

Навіть велике вікно не скасовує потреби відбирати дані. Що більше зайвого в контексті, то дорожчий запит і то легше моделі пропустити важливе. Тому в робочих системах замість «завантажимо все» використовують RAG — додавання тільки потрібних фрагментів.

Де застосовується

Від розміру вікна залежить, що можна доручити моделі за один запит: розібрати весь договір чи лише розділ, врахувати все листування з клієнтом чи кілька останніх повідомлень, проаналізувати один файл проєкту чи цілий модуль.

Коли дані не вміщаються, використовують обхідні шляхи. Документи ділять на частини і через пошук додають лише потрібні, довге листування періодично скорочують до підсумку, а велику задачу розбивають на кілька кроків і передають проміжний результат далі.

Приклад

На початку довгої розмови користувач назвав своє місто, а через сотню повідомлень модель відповідає так, ніби не знає його. Причина не в забудькуватості: перше повідомлення вийшло за межі вікна і просто відсутнє в запиті.

Часті запитання

Що буде, якщо текст не вміщається в контекстне вікно?

Зайве просто не потрапляє в запит: чати зазвичай відкидають найстаріші повідомлення, а запит напряму через API повертає помилку. Відкинутої частини для моделі не існує, і вона не може на неї посилатися.

Чим контекстне вікно відрізняється від пам’яті моделі?

Вікно — це робоча пам’ять одного запиту, вона зникає після відповіді. Довгострокової пам’яті в моделі немає: усе, що вона «пам’ятає» між розмовами, сервіс щоразу заново додає в запит — збережені нотатки, історію, знайдені документи.

Чи завжди велике контекстне вікно краще?

Ні. Довгий контекст дорожчий і обробляється довше, а при переповненому вікні якість може падати, бо важливе губиться серед зайвого. Часто вигідніше вибрати кілька потрібних фрагментів, ніж надсилати документ повністю.

У чому вимірюється розмір контекстного вікна?

У токенах, і в цей обсяг входить усе: системна інструкція, історія розмови, прикріплені файли і відповідь моделі. Тому з лімітом, наприклад, двісті тисяч токенів місця для ваших даних завжди трохи менше.

Навчання програмуванню в OWU

Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.

Обрати курс