ШІ та машинне навчання
Що таке GPT?
GPT (Generative Pre-trained Transformer, генеративний попередньо навчений трансформер) — це сімейство великих мовних моделей компанії OpenAI й водночас назва підходу до їх створення. Саме моделі GPT лежать в основі ChatGPT.
Назва пояснює принцип: Generative — модель генерує текст; Pre-trained — спочатку її навчають на величезному обсязі текстів, щоб вона вивчила мову й знання про світ; Transformer — архітектура нейронної мережі з механізмом уваги, яку Google представив 2017 року.
Модель генерує відповідь по одному токену: на кожному кроці оцінює ймовірності можливих наступних частин слова й обирає одну з них. Після попереднього навчання моделі донавчають на прикладах діалогів і з урахуванням оцінок людей, щоб вони краще виконували інструкції й відповідали безпечно.
Де застосовується
Моделі GPT використовують у ChatGPT, Microsoft Copilot і тисячах інших продуктів через API OpenAI: чат-боти підтримки, генерація й перевірка текстів, асистенти для програмування, аналіз документів, AI-агенти.
Ту саму архітектуру генеративного трансформера використовують і моделі інших компаній, тому розуміння принципів GPT допомагає працювати з будь-якими великими мовними моделями.
Приклад
Як модель генерує текст по одному токену.
Input text: "Learn Python at"
Tokens: ["Learn", " Python", " at"]
Model predicts probabilities for the next token:
" Okten" 0.41
" home" 0.22
" school" 0.15
" university" 0.09
...
Chosen token → " Okten"
New input: "Learn Python at Okten" → predict the next token again
Часті запитання
Чим GPT відрізняється від ChatGPT?
GPT — мовна модель, «двигун». ChatGPT — продукт із чат-інтерфейсом, побудований на моделях GPT, з додатковими функціями: історією діалогів, пошуком, роботою з файлами й зображеннями.
Чому GPT іноді вигадує факти?
Модель передбачає правдоподібне продовження тексту, а не шукає перевірені факти. Якщо точних знань бракує, вона може згенерувати переконливу, але неправильну відповідь. Ризик зменшують підходом RAG і перевіркою джерел.
Чи GPT — єдина така модель?
Ні. Великі мовні моделі на основі трансформерів створюють і інші компанії: Anthropic (Claude), Google (Gemini), Meta (Llama), Mistral та інші.
Навчання програмуванню в OWU
Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.
Обрати курс