Microsoft представляє багатофункціональні модульні SLM, навчені на графічних процесорах NVIDIA

Джеймс Дінг

26 лютого 2025 року 15:38

Компанія Microsoft представляє нові Phi SLM, включаючи мультимодальний Phi-4, навчений на NVIDIA GPUs, покращуючи можливості штучного інтелекту за допомогою ефективного використання ресурсів.

! Корпорація Майкрософт представляє мультимодальні SLM, навчені на графічних процесорах NVIDIA

Компанія Microsoft оголосила про останні додатки до своєї сім'ї невеликих мовних моделей (SLMs), в яких представлені нові моделі Phi-4-multimodal та Phi-4-mini, обидві навчені за допомогою графічних процесорів NVIDIA. Цей розвиток є значним кроком у еволюції мовних моделей, зосереджуючись на ефективності та універсальності, як зазначає NVIDIA.

###Досягнення в моделях малої мови

SLM-моделі мають вирушити як практичне рішення для викликів, які поставили перед собою великі мовні моделі (LLMs), які, незважаючи на свої здатності, потребують значних обчислювальних ресурсів. SLM-моделі розроблені для ефективної роботи в обмежених середовищах, що робить їх придатними для впровадження на пристроях з обмеженою пам'яттю та обчислювальною потужністю.

Нова мультимодальна модель Microsoft Phi-4 особливо примітна своєю здатністю обробляти кілька типів даних, включаючи текст, аудіо та зображення. Ця можливість відкриває нові можливості для таких додатків, як автоматичне розпізнавання мови, переклад і візуальне мислення. У навчанні моделі брали участь 512 графічних процесорів NVIDIA A100-80GB протягом 21 дня, що підкреслює інтенсивні обчислювальні зусилля, необхідні для досягнення її можливостей.

###Phi-4-мультимодальні та Phi-4-mini

Модель Phi-4-мультимодального макету має 5,6 мільярда параметрів і продемонструвала відмінну продуктивність в автоматичному розпізнаванні мови, посівши перше місце в рейтингу Huggingface OpenASR з коефіцієнтом помилок слів 6,14%. Цей досягнення підкреслює потенціал моделі в покращенні технологій розпізнавання мови.

Разом з Phi-4-multimodal, Microsoft також представив Phi-4-mini, модель тільки з текстом, оптимізовану для чат-додатків. З 3,8 мільярдами параметрів, Phi-4-mini призначений для ефективної обробки контенту великої форми, пропонуючи вікно контексту з 128 тис. токенів. Його навчання включало 1024 графічних процесори NVIDIA A100 80 ГБ протягом 14 днів, відображаючи фокус моделі на високоякісних навчальних даних і коді.

###Розгортання та доступність

Обидва моделі доступні в Azure AI Foundry від Microsoft, що надає платформу для проектування, налаштування та управління додатками штучного інтелекту. Користувачі також можуть вивчити ці моделі через каталог API NVIDIA, який пропонує середовище пісочниці для тестування та інтеграції цих моделей в різні додатки.

Співпраця NVIDIA з Microsoft виходить за межі лише навчання цих моделей. Партнерство включає оптимізацію програмного забезпечення та моделей, таких як Phi, для підтримки прозорості штучного інтелекту та підтримки проектів з відкритим вихідним кодом. Ця співпраця спрямована на просування технологій штучного інтелекту у різних галузях, від охорони здоров'я до наук про життя.

Для отримання більш детальної інформації відвідайте блог NVIDIA.

Джерело зображення: Shutterstock