Phone icon Зв'язатись з нами

ШІ та машинне навчання

Що таке GPT?

GPT (Generative Pre-trained Transformer, генеративний попередньо навчений трансформер) — це сімейство великих мовних моделей компанії OpenAI й водночас назва підходу до їх створення. Саме моделі GPT лежать в основі ChatGPT.

Назва пояснює принцип: Generative — модель генерує текст; Pre-trained — спочатку її навчають на величезному обсязі текстів, щоб вона вивчила мову й знання про світ; Transformer — архітектура нейронної мережі з механізмом уваги, яку Google представив 2017 року.

Модель генерує відповідь по одному токену: на кожному кроці оцінює ймовірності можливих наступних частин слова й обирає одну з них. Після попереднього навчання моделі донавчають на прикладах діалогів і з урахуванням оцінок людей, щоб вони краще виконували інструкції й відповідали безпечно.

Де застосовується

Моделі GPT використовують у ChatGPT, Microsoft Copilot і тисячах інших продуктів через API OpenAI: чат-боти підтримки, генерація й перевірка текстів, асистенти для програмування, аналіз документів, AI-агенти.

Ту саму архітектуру генеративного трансформера використовують і моделі інших компаній, тому розуміння принципів GPT допомагає працювати з будь-якими великими мовними моделями.

Приклад

Як модель генерує текст по одному токену.

Input text:   "Learn Python at"
Tokens:       ["Learn", " Python", " at"]

Model predicts probabilities for the next token:
  " Okten"     0.41
  " home"      0.22
  " school"    0.15
  " university" 0.09
  ...

Chosen token → " Okten"
New input:    "Learn Python at Okten" → predict the next token again
Ймовірності наступного токена й вибір продовження.

Часті запитання

Чим GPT відрізняється від ChatGPT?

GPT — мовна модель, «двигун». ChatGPT — продукт із чат-інтерфейсом, побудований на моделях GPT, з додатковими функціями: історією діалогів, пошуком, роботою з файлами й зображеннями.

Чому GPT іноді вигадує факти?

Модель передбачає правдоподібне продовження тексту, а не шукає перевірені факти. Якщо точних знань бракує, вона може згенерувати переконливу, але неправильну відповідь. Ризик зменшують підходом RAG і перевіркою джерел.

Чи GPT — єдина така модель?

Ні. Великі мовні моделі на основі трансформерів створюють і інші компанії: Anthropic (Claude), Google (Gemini), Meta (Llama), Mistral та інші.

Навчання програмуванню в OWU

Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.

Обрати курс