Phone icon Связаться с нами

ИИ и машинное обучение

Что такое GPT?

GPT (Generative Pre-trained Transformer, генеративный предварительно обученный трансформер) — это семейство больших языковых моделей компании OpenAI и одновременно название подхода к их созданию. Именно модели GPT лежат в основе ChatGPT.

Название объясняет принцип: Generative — модель генерирует текст; Pre-trained — сначала её обучают на огромном объёме текстов, чтобы она изучила язык и знания о мире; Transformer — архитектура нейронной сети с механизмом внимания, которую Google представил в 2017 году.

Модель генерирует ответ по одному токену: на каждом шаге оценивает вероятности возможных следующих частей слова и выбирает одну из них. После предварительного обучения модели дообучают на примерах диалогов и с учётом оценок людей, чтобы они лучше выполняли инструкции и отвечали безопасно.

Где применяется

Модели GPT используют в ChatGPT, Microsoft Copilot и тысячах других продуктов через API OpenAI: чат-боты поддержки, генерация и проверка текстов, ассистенты для программирования, анализ документов, AI-агенты.

Ту же архитектуру генеративного трансформера используют и модели других компаний, поэтому понимание принципов GPT помогает работать с любыми большими языковыми моделями.

Пример

Как модель генерирует текст по одному токену.

Input text:   "Learn Python at"
Tokens:       ["Learn", " Python", " at"]

Model predicts probabilities for the next token:
  " Okten"     0.41
  " home"      0.22
  " school"    0.15
  " university" 0.09
  ...

Chosen token → " Okten"
New input:    "Learn Python at Okten" → predict the next token again
Вероятности следующего токена и выбор продолжения.

Частые вопросы

Чем GPT отличается от ChatGPT?

GPT — языковая модель, «двигатель». ChatGPT — продукт с чат-интерфейсом, построенный на моделях GPT, с дополнительными функциями: историей диалогов, поиском, работой с файлами и изображениями.

Почему GPT иногда выдумывает факты?

Модель предсказывает правдоподобное продолжение текста, а не ищет проверенные факты. Если точных знаний не хватает, она может сгенерировать убедительный, но неправильный ответ. Риск уменьшают подходом RAG и проверкой источников.

GPT — единственная такая модель?

Нет. Большие языковые модели на основе трансформеров создают и другие компании: Anthropic (Claude), Google (Gemini), Meta (Llama), Mistral и другие.

Обучение программированию в OWU

Освойте профессию в IT на практических курсах с менторами и реальными проектами.

Выбрать курс