ШІ та машинне навчання

Що таке мультимодальний AI?

Мультимодальний AI (multimodal AI) — це модель, яка працює з кількома типами даних одночасно: текстом, зображеннями, аудіо і відео. Їй можна в одному запиті надіслати скриншот і питання про нього та отримати зв’язну відповідь.

Раніше для кожного типу даних потрібна була окрема система: одна розпізнавала мовлення, друга описувала зображення, третя писала текст. Мультимодальна модель переводить різні дані в спільне внутрішнє представлення і аналізує їх разом.

Це відкриває можливості, недоступні текстовим моделям: розібрати фото документа, пояснити помилку за скриншотом, описати графік зі звіту чи підказати, що не так у макеті.

Де застосовується

Мультимодальні моделі прибирають багато ручної роботи. Модель читає скан накладної і повертає дані у структурованому вигляді, розбирає скриншот помилки і пояснює причину, розшифровує запис зустрічі і складає протокол, перевіряє фото товару на відповідність вимогам каталогу.

У продуктах зникають проміжні інструменти: раніше для розпізнавання документа був потрібен окремий OCR-сервіс, для мовлення — інший, а обробку результату писали кодом. Тепер один запит із зображенням чи аудіо замінює весь цей ланцюжок.

Приклад

Бухгалтер фотографує чек і надсилає в систему. Модель розпізнає суму, дату, продавця і категорію витрати, а потім створює запис в обліку. Вручну вводити дані доводиться лише тоді, коли фото нечитабельне.

Часті запитання

Які моделі працюють із зображеннями?

Сучасні флагманські моделі провідних розробників приймають зображення так само, як текст. Аудіо і відео підтримуються рідше і не в усіх сервісах, тому конкретні можливості варто перевіряти в документації.

Наскільки точно модель розпізнає текст на фото?

На чітких документах якість висока і часто краща, ніж у класичних інструментів розпізнавання, бо модель враховує ще й зміст. На поганих сканах і рукописному тексті можливі помилки, тому важливі дані варто перевіряти вручну або автоматично.

Чи можна надіслати моделі відео?

Деякі сервіси це підтримують, інші обробляють відео як набір кадрів плюс розшифрований звук. Зазвичай є обмеження на тривалість і розмір файлу. Для довгих записів частіше розшифровують аудіо і аналізують отриманий текст.

Чи дорожчі запити із зображеннями?

Так, зображення перераховується в токени, і вартість залежить від роздільної здатності — велике зображення може коштувати як кілька сторінок тексту. Тому перед надсиланням зображення зазвичай зменшують до розміру, достатнього для задачі.

Навчання програмуванню в OWU

Опануйте професію в IT на практичних курсах із менторами та реальними проєктами.

Обрати курс