ИИ и машинное обучение
Что такое GPT?
GPT (Generative Pre-trained Transformer, генеративный предварительно обученный трансформер) — это семейство больших языковых моделей компании OpenAI и одновременно название подхода к их созданию. Именно модели GPT лежат в основе ChatGPT.
Название объясняет принцип: Generative — модель генерирует текст; Pre-trained — сначала её обучают на огромном объёме текстов, чтобы она изучила язык и знания о мире; Transformer — архитектура нейронной сети с механизмом внимания, которую Google представил в 2017 году.
Модель генерирует ответ по одному токену: на каждом шаге оценивает вероятности возможных следующих частей слова и выбирает одну из них. После предварительного обучения модели дообучают на примерах диалогов и с учётом оценок людей, чтобы они лучше выполняли инструкции и отвечали безопасно.
Где применяется
Модели GPT используют в ChatGPT, Microsoft Copilot и тысячах других продуктов через API OpenAI: чат-боты поддержки, генерация и проверка текстов, ассистенты для программирования, анализ документов, AI-агенты.
Ту же архитектуру генеративного трансформера используют и модели других компаний, поэтому понимание принципов GPT помогает работать с любыми большими языковыми моделями.
Пример
Как модель генерирует текст по одному токену.
Input text: "Learn Python at"
Tokens: ["Learn", " Python", " at"]
Model predicts probabilities for the next token:
" Okten" 0.41
" home" 0.22
" school" 0.15
" university" 0.09
...
Chosen token → " Okten"
New input: "Learn Python at Okten" → predict the next token again
Частые вопросы
Чем GPT отличается от ChatGPT?
GPT — языковая модель, «двигатель». ChatGPT — продукт с чат-интерфейсом, построенный на моделях GPT, с дополнительными функциями: историей диалогов, поиском, работой с файлами и изображениями.
Почему GPT иногда выдумывает факты?
Модель предсказывает правдоподобное продолжение текста, а не ищет проверенные факты. Если точных знаний не хватает, она может сгенерировать убедительный, но неправильный ответ. Риск уменьшают подходом RAG и проверкой источников.
GPT — единственная такая модель?
Нет. Большие языковые модели на основе трансформеров создают и другие компании: Anthropic (Claude), Google (Gemini), Meta (Llama), Mistral и другие.
Обучение программированию в OWU
Освойте профессию в IT на практических курсах с менторами и реальными проектами.
Выбрать курс