Бій моделей в сфері ШІ триває, але комерційні перспективи все ще неясні

Минулого місяця у світі штучного інтелекту розгорілася "війна тварин". З одного боку, модель Llama від Meta, яка завдяки своїй відкритій природі здобула популярність серед розробників. Японська компанія NEC, дослідивши Llama, швидко розробила японську версію ChatGPT. З іншого боку, є велика модель під назвою Falcon, яка після свого виходу в травні обійшла Llama, очоливши рейтинг відкритих LLM.

Цікаво, що Falcon не був розроблений технологічною компанією, а був розроблений Інститутом технологічних інновацій Абу-Дабі в ОАЕ. Офіційні особи ОАЕ заявили, що вони беруть участь у цій сфері, щоб "перекинути основних гравців". На наступний день після випуску версії Falcon 180B міністр штучного інтелекту ОАЕ потрапив до списку "100 найвпливовіших людей у сфері штучного інтелекту" журналу Time.

Сьогодні сфера ШІ увійшла в етап, коли змагаються сотні учасників, і потужні країни та компанії створюють свої великі моделі. Лише в регіоні Перської затоки Саудівська Аравія також нещодавно придбала понад 3000 чіпів H100 для навчання LLM для своїх університетів.

Один інвестор колись на соціальних мережах висловив своє обурення: "Коли я не вірив в інновації бізнес-моделей Інтернету, вважав, що немає жодних бар'єрів. Не очікував, що в жорстких технологіях стартапів з великими моделями все ще буде битва моделей..."

Як технології з високим бар'єром стали змаганням, в якому може брати участь кожен?

Transformer змінює правила гри

Країни-стартапи, технологічні гіганти та нафтові магнати можуть переслідувати мрії про великі моделі, завдяки статті Google "Attention Is All You Need", опублікованій у 2017 році. Ця стаття представила алгоритм Transformer, який став детонатором цього раунду AI-інтересу. Всі сучасні великі моделі, незалежно від їхньої національності, включаючи світопомітну серію GPT, базуються на основі Transformer.

Раніше "навчити машини читати" було визнано академічною проблемою. На відміну від розпізнавання зображень, під час читання людина не лише зосереджується на поточних словах і реченнях, а й використовує контекст для розуміння. Ранні нейронні мережі мали незалежні вхідні дані, через що їм було важко розуміти довгі тексти або навіть цілі статті, в результаті чого виникали такі проблеми, як переклад "开水间" на "open water room".

У 2014 році, після роботи в Google, комп'ютерний вчений Ілля Сутскевер(Ilya Sutskever) вперше досягнув прориву. Він використовував рекурентні нейронні мережі(RNN) для обробки природної мови, що дозволило Google Translate значно випередити конкурентів. RNN запропонували "рекурсивний дизайн", який дозволяє кожному нейрону приймати не лише вхідні дані поточного моменту, але й вхідні дані з попереднього моменту, що надало можливість "поєднувати контекст".

Поява RNN запалила наукову цікавість, автори статті про Transformer Ноам Шазер ( також були в цьому зацікавлені. Але розробники швидко виявили серйозні недоліки RNN: цей алгоритм використовує послідовні обчислення, хоча може вирішувати проблеми контексту, але його ефективність низька, і він важко обробляє велику кількість параметрів.

Складний дизайн RNN набрид Шазелю. З 2015 року він разом із семи однодумцями почав розробку заміни RNN, в результаті чого з'явився Transformer. На відміну від RNN, Transformer має дві великі інновації: по-перше, використання позиційного кодування замість циклічного дизайну, що дозволяє виконувати паралельні обчислення, значно підвищуючи ефективність навчання та відкриваючи еру великих моделей в AI; по-друге, подальше посилення здатності до розуміння контексту.

Transformer вирішив кілька недоліків і поступово став основним рішенням для NLP) обробки природної мови (. Навіть Ілля відмовився від власної розробки RNN і перейшов до табору Transformer. Можна сказати, що Transformer є прабатьком усіх великих моделей сьогодні, він перетворив великі моделі з теоретичних досліджень на чисто інженерну задачу.

У 2019 році OpenAI на базі Transformer розробила GPT-2, що шокувало наукову спільноту. Google незабаром представила потужнішу AI-модель Meena. На відміну від GPT-2, Meena не має алгоритмічних нововведень, лише збільшила кількість тренувальних параметрів у 8,5 разів та обчислювальну потужність у 14 разів. Автор Transformer Шазель був вражений цим "насильницьким накопиченням", написавши меморандум "Meena поглинає світ".

Після появи Transformer швидкість інновацій у базових алгоритмах у науковій спільноті значно сповільнилася. Інженерні фактори, такі як обробка даних, масштаб обчислень, архітектура моделей тощо, стають все більш ключовими у змаганнях штучного інтелекту. Будь-яка технологічна компанія з певними технічними можливостями може розробити великі моделі.

Комп'ютерний вчений У Ен Да під час виступу в Стенфордському університеті зазначив: "ШІ є набором інструментів, включаючи навчання з наглядом, навчання без нагляду, підкріплене навчання та сучасний генеративний штучний інтелект. Усі ці технології є загальними, подібно до електрики та інтернету."

OpenAI, безумовно, залишається еталоном у сфері LLM, але аналітична компанія Semi Analysis вважає, що конкурентоспроможність GPT-4 зумовлена інженерними рішеннями — якщо це буде відкритим кодом, будь-який конкурент зможе швидко скопіювати. Цей аналітик прогнозує, що, можливо, не пройде багато часу, як інші великі технологічні компанії також зможуть розробити великі моделі, продуктивність яких буде порівнянна з GPT-4.

Де збудований вал?

Станом на сьогодні, "Битва багатьох моделей" вже не є метафорою, а реальністю. Згідно з доповіддю, станом на липень цього року в Китаї кількість великих моделей досягла 130, що перевищує 114 у США, і різних міфів та легенд майже не вистачає для найменування вітчизняних технологічних компаній.

Окрім США та Китаю, інші багаті країни також попередньо реалізували "одна країна - одна модель": Японія, ОАЕ, а також Bhashini під керівництвом уряду Індії, HyperClova X, розроблений південнокорейською інтернет-компанією Naver тощо. Ця картина нагадує епоху інтернет-бульбашки, коли всі сторони почали витрачати гроші на входження в гру.

Як уже згадувалося раніше, Transformer перетворює великі моделі на чисто інженерну задачу: якщо є кошти та апаратура, решта - це налаштування параметрів. Але зниження бар'єрів входу не означає, що кожен може стати гігантом епохи ШІ.

У вступі згадується про "конфлікт тварин", що є典型ним прикладом: хоча Falcon перевершив Llama у рейтингу, важко сказати, наскільки великий вплив це має на Meta. Як відомо, компанії відкривають свої наукові досягнення, щоб поділитися технологічними вигодами, а також сподіваються залучити суспільний розум. З розвитком використання та вдосконалення Llama з боку різних секторів, Meta може застосувати ці досягнення у своїх продуктах.

Для відкритих великих моделей активна спільнота розробників є основною конкурентною перевагою. Meta ще в 2015 році, створивши лабораторію штучного інтелекту, визначила відкритий шлях; Цукерберг, починаючи з соціальних медіа, краще розуміє важливість "підтримки відносин з громадськістю".

Наприклад, у жовтні Meta спеціально провела захід "Стимулювання творців AI": розробники, які використовують Llama 2 для вирішення соціальних проблем, таких як освіта та екологія, мають можливість отримати грант у 500 тисяч доларів. Сьогодні серія Llama від Meta стала орієнтиром для відкритих LLM.

Станом на початок жовтня, у топ-10 відкритих LLM на відомій платформі, 8 із них розроблені на основі Llama 2 і використовують його ліцензію з відкритим вихідним кодом. Лише на цій платформі кількість LLM, що використовують ліцензію Llama 2, перевищила 1500.

Покращення продуктивності, безсумнівно, можливе, але наразі більшість LLM все ще має помітний розрив у порівнянні з GPT-4. Наприклад, нещодавно GPT-4 посів перше місце в тестуванні AgentBench з оцінкою 4.41. AgentBench був спільно розроблений університетом Цінхуа та кількома відомими університетами США для оцінки здатності LLM до міркування та ухвалення рішень у багатовимірному відкритому генеративному середовищі.

Результати тестування показують, що друге місце займає Claude з 2.77 бала, різниця все ще значна. Що стосується тих гучних відкритих LLM, більшість з них коливаються в районі 1 бала, що навіть не становить чверті від GPT-4. Слід зазначити, що GPT-4 був випущений у березні цього року, і це вже результати через півроку гонки з колегами з усього світу.

Причиною цієї різниці є висококваліфікована команда вчених OpenAI та досвід, накопичений за довгі роки дослідження LLM, що дозволяє їй завжди залишатися на передовій. Іншими словами, основна здатність великої моделі полягає не в параметрах, а в екосистемі ) відкритий код ( або чисто в здатності висновку ) закритий код (.

З ростом активності відкритих спільнот, продуктивність різних LLM може зрости до однакового рівня, оскільки всі використовують схожі архітектури моделей та набори даних. Інша, більш очевидна проблема полягає в тому, що, крім Midjourney, здається, що жодна велика модель не змогла отримати прибуток.

Пошук ціннісних орієнтирів

У серпні цього року стаття під назвою "OpenAI, можливо, збанкрутує до кінця 2024 року" привернула увагу. Основна ідея статті майже може бути узагальнена в одне речення: OpenAI спалює гроші занадто швидко.

У статті зазначається, що з моменту розробки ChatGPT збитки OpenAI швидко зросли, у 2022 році вони склали близько 540 мільйонів доларів, і компанія змушена покладатися на інвестиції Microsoft. Хоча заголовок цієї статті гучний, він також відображає багато проблем, з якими стикаються постачальники великих моделей: серйозний дисбаланс між витратами та доходами.

Занадто високі витрати призводять до того, що наразі тільки Nvidia дійсно заробляє великі гроші на AI, максимум ще Broadcom. За оцінками консалтингової компанії Omdia, Nvidia у другому кварталі цього року продала понад 300 тисяч чіпів H100. Це ефективний AI-чіп, який технологічні компанії та дослідницькі установи по всьому світу прагнуть купити. Якщо скласти ці 300 тисяч H100 один на одного, вага буде еквівалентна 4,5 літакам Boeing 747.

Виручка Nvidia різко зросла, зростання порівняно з минулим роком становить 854%, що шокувало Уолл-стріт. Варто зазначити, що ціна на H100 на вторинному ринку зросла до 40-50 тисяч доларів, тоді як його матеріальні витрати складають лише близько 3000 доларів.

Високі витрати на обчислювальну потужність стали певною мірою перешкодою для розвитку галузі. Sequoia Capital оцінювала, що світові технологічні компанії щорічно витрачають 200 мільярдів доларів на будівництво інфраструктури для великих моделей; порівняно з цим, великі моделі можуть приносити максимум 75 мільярдів доларів доходу на рік, що створює принаймні 125 мільярдів доларів дефіциту.

Крім того, за винятком кількох винятків, таких як Midjourney, більшість програмних компаній після вкладення величезних коштів ще не знайшли прибуткову модель. Навіть лідери галузі Microsoft та Adobe стикаються з викликами.

Інструмент генерації коду на основі штучного інтелекту GitHub Copilot, розроблений у співпраці Microsoft з OpenAI, хоча й стягує 10 доларів на місяць, але через витрати на інфраструктуру Microsoft насправді втрачає 20 доларів на місяць. Інтенсивні користувачі можуть навіть призвести до втрат Microsoft у 80 доларів на місяць. З цього можна зробити висновок, що Microsoft 365 Copilot, ціна якого складає 30 доларів, може призводити до ще більших втрат.

Також, нещодавно запущений інструмент Firefly AI від Adobe швидко запровадив супутню систему балів, щоб запобігти надмірному використанню, що може призвести до збитків компанії. Щойно користувач перевищить щомісячну норму балів, Adobe знизить швидкість обслуговування.

Варто зазначити, що Microsoft і Adobe вже є програмними гігантами з чітко визначеними бізнес-сценаріями та великою кількістю платних користувачів. А у більшості великих моделей з великою кількістю параметрів основним сценарієм використання все ще залишаються чати.

Неможливо заперечувати, що якби не OpenAI та ChatGPT, ця революція в AI, можливо, не відбулася б; але наразі цінність, яку приносить навчання великих моделей, все ще викликає питання. З посиленням однорідної конкуренції та зростанням кількості відкритих моделей, прості постачальники великих моделей можуть стикнутися з більшими викликами.

Успіх iPhone 4 не в процесорі A4 з технологією 45 нм, а в тому, що він може запускати такі додатки, як рослини проти зомбі та Angry Birds.