Как самая быстрорастущая высокотехнологичная технология в истории человечества, большие модели привлекают внимание всех. Web3, которая была всего лишь вчерашним явлением, все чаще подвергается юридическим вызовам. Но поскольку это совершенно разные технологии, между ними нет замены. Человек, ответственный за "Студию AI+Crypto" на Острове Всех Вещей - г-н Тянь Хунфей, обсудит с вами проблемы, с которыми сталкиваются в разработке большие модели, и как компании в сфере web3 стремятся решить эти проблемы.

Проблемы крупной модельной индустрии и способы интеграции Web3 для их решения

Как мы все знаем, интернет-индустрия вошла в стадию олигополии после 2015 года, и страны по всему миру проводили антимонопольные расследования платформенных компаний. Появление больших моделей дальше усиливает монопольное положение олигополий. К большим моделям относятся алгоритмы, вычислительная мощность и данные:

• В области алгоритмов, хотя существует определенная степень монополии, алгоритмы могут оставаться в значительной степени открытыми благодаря силам открытого исходного кода и конкуренции исследовательских университетов, а также недоверию людей к олигархам;
• С точки зрения вычислительной мощности из-за чрезвычайно высокой стоимости обучения больших моделей вычислительную мощность могут себе позволить только крупные предприятия, поэтому это, по сути, приводит к тому, что производство алгоритмов полностью контролируется крупными предприятиями;
• В терминах данных, в то время как обучение больших моделей зависит от общедоступных данных, общедоступные данные скоро будут исчерпаны на основе роста параметров больших моделей, и, следовательно, дальнейший рост больших моделей зависит от частных данных. Хотя абсолютное количество данных, принадлежащих большому количеству малых компаний, огромно, их сложно использовать в изоляции, поэтому большие компании все еще монополизируют данные.

В результате эра Большой Модели стала более централизованной, чем когда-либо прежде, и мир будущего, скорее всего, будет контролироваться горсткой или даже одним компьютером. (Даже в децентрализованном мире Web3, предложенная Виталиком Конечная Игра для Ethereum будет запущена гигантской внеблоковой машиной.)

Кроме того, компания OpenAI, разработавшая ChatGPT, имеет всего более 20 основных сотрудников. По разным причинам алгоритм ChatGPT до сих пор не был открыт. Первоначальный характер некоммерческого предприятия был изменен на ограниченную прибыль. Поскольку различные приложения, основанные на ChatGPT, изменили жизнь человека, некоторые модификации модели ChatGPT окажут большое влияние на людей. По сравнению с принципом Google «не делай зла», ChatGPT оказывает более глубокое влияние на людей.

Поэтому вычислительная достоверность модели станет важным вопросом. Хотя OpenAI может функционировать как некоммерческая организация, контроль власти несколькими людьми все равно принесет много негативных последствий. (В отличие от того, хотя конечная игра Ethereum, предложенная Виталиком, создается машиной, она будет поддерживать прозрачность через очень простую верификацию общественностью.)

В то же время в отрасли крупных моделей все еще существуют проблемы: недостаток вычислительной мощности, доступные данные для обучения подходят к исчерпанию, а также обмен моделями. Согласно статистике, до 2021 года проблемой в индустрии искусственного интеллекта был недостаток данных, и все компании по глубокому обучению искали данные в вертикальных отраслях; а после появления крупных моделей недостаток вычислительной мощности стал препятствием.

Разработка больших моделей делится на несколько этапов: сбор данных, предварительная обработка данных, обучение модели, тонкая настройка модели и вывод запроса развертывания. Исходя из этих этапов, давайте кратко опишем вклад блокчейна в большие модели и как бороться с вредом чрезмерной концентрации больших моделей.

• В терминах данных, поскольку общедоступные данные будут исчерпаны после 2030 года, необходимо использовать более ценные и большие объемы частных данных, защищая их конфиденциальность с помощью технологии блокчейн;
• В терминах аннотации данных токены могут быть использованы для поощрения масштабной аннотации и верификации данных;
• На этапе обучения модели общая вычислительная мощность достигается за счет обмена моделями и совместного обучения;
• Во время фазы настройки модели участие сообщества может быть стимулировано через токены;
• В фазе запроса пользователя и вычисления рассуждений блокчейн может защищать конфиденциальность данных пользователя.

В частности:

1) Редкая вычислительная мощность

Вычислительная мощность является необходимым фактором производства для крупных моделей, и сегодня это самый дорогой фактор производства, настолько дорогой, что стартапы, которые только что привлекли средства, должны переводить 80% своих средств на NVIDIA для покупки графических процессоров. Компании, производящие собственные крупные модели, должны потратить как минимум 50 миллионов долларов на построение собственных центров обработки данных, в то время как небольшие стартапы должны приобретать дорогостоящие услуги облачных вычислений.

Однако краткосрочная популярность больших моделей и огромное потребление вычислительных ресурсов самими большими моделями значительно превысили возможности поставок со стороны NVIDIA. Согласно статистике, спрос на вычислительные мощности больших моделей удваивается каждые несколько месяцев. Между 2012 и 2018 годами спрос на вычислительные мощности вырос в 300 000 раз, а стоимость вычислений больших моделей увеличивается в 31 раз каждый год.

Для китайских интернет-компаний также приходится сталкиваться с американским эмбарго на высокопроизводительные видеокарты. Можно сказать, что огромные затраты на обучение - это основная причина, по которой технология больших моделей контролируется небольшим количеством людей.

Как решить проблему вычислительной мощности больших моделей через блокчейн?

Рассматривая производство крупных моделей, оно в основном делится на обучение крупных моделей, тонкую настройку и вычисление запросов пользователей. Хотя известно, что обучение крупных моделей дорогостоящее занятие, версия крупной модели должна быть сгенерирована только один раз. Большую часть времени для пользователей услуг крупных моделей требуется только вычисление вывода. Согласно статистике AWS, это также подтверждается, 80% вычислительной мощности фактически расходуется на вычисления вывода.

Хотя обучение больших моделей требует высокоскоростных коммуникационных возможностей между GPU, его нельзя завершить в сети (если вы не выберете обмен временем на снижение стоимости). Однако вывод вычислений можно выполнить на одном GPU. Тонкая настройка основана на сгенерированной большой модели и предоставленных профессиональных данных, поэтому она требует гораздо меньше вычислительных ресурсов, чем обучение больших моделей.

Когда дело доходит до рендеринга графики, очевидно, что потребительские графические процессоры работают лучше, чем корпоративные графические процессоры, и большую часть времени простаивают. С тех пор, как Калифорнийский университет в Беркли запустил SETI для поиска инопланетян в 1999 году, а Grid Computing стал популярным в 2000 году, появилось несколько технических архитектур, которые используют простаивающие вычислительные ресурсы для совместной работы для выполнения некоторых огромных вычислительных задач. До появления блокчейна эти коллаборации, как правило, были сосредоточены на научных задачах и опирались на энтузиазм и участие участников в общественном благополучии, что ограничивало масштаб воздействия. Теперь, используя технологию блокчейн, ее широкий спектр применения может быть стимулирован с помощью токенов.

Как и в децентрализованном проекте облачных вычислений Akash, была создана общая вычислительная сеть, и пользователи могут развертывать модели машинного обучения для расчетов рассуждений и обработки изображений. Также существуют блокчейн-проекты искусственного интеллекта, такие как Bittensor, Modulus Lab, Giza и ChainML, все они направлены на вычисления выводов запросов.

Протокол вычислений искусственного интеллекта Gensyn и открытая платформа генеративного искусственного интеллекта Together нацелены на создание децентрализованной вычислительной сети, обслуживающей обучение больших моделей.

Вызов: Для децентрализованных вычислительных сетей сложность заключается не только в низкоскоростных и ненадежных коммуникационных сетях, неспособности синхронизировать вычислительные состояния, работе с несколькими типами вычислительных сред с типом GPU, но также в работе с экономическими стимулами, мошенничеством участников, доказательством рабочей нагрузки, безопасностью, защитой конфиденциальности и антиспам-атаками.

2) Редкие данные и коррекция данных

Основной алгоритм крупной модели, Обучение с подкреплением от обратной связи человека (RLHF), требует участия человека в настройке обучения для исправления ошибок и устранения предвзятости и вредной информации. OpenAI использовала RLHF для настройки GPT3 на генерацию ChatGPT. В процессе OpenAI нашла экспертов из группы Facebook и оплатила кенийских рабочих $2 в час. Оптимизация обучения часто требует участия экспертов по данным из специализированных областей, и его реализация может быть полностью объединена с способами стимулирования участия сообщества через токены.

Индустрия децентрализованных физических инфраструктурных сетей (DePINs) использует токены для поощрения людей делиться реальными, актуальными данными из физического мира в соответствии с датчиками для различных моделей обучения. Включая: React собирает данные об энергопотреблении, DIMO собирает данные о вождении транспортных средств, WeatherXM собирает данные о погоде, а Hivemapper собирает данные карты через токенные поощрения, чтобы побудить людей помечать дорожные знаки и помочь его алгоритму машинного обучения RLHF улучшить точность.

В то же время, по мере увеличения параметров крупных моделей существующие общедоступные данные будут исчерпаны к 2030 году, и дальнейший прогресс крупных моделей придется полагаться на частные данные. Объем частных данных в 10 раз превышает объем общедоступных данных, но они разбросаны в руках предприятий и частных лиц и имеют конфиденциальный характер, что затрудняет их использование. Возникает двойная дилемма. С одной стороны, крупной модели нужны данные, но, хотя стороне с данными нужна крупная модель, она не хочет передавать данные крупной модели. Эту двойную проблему также можно решить с помощью технологий в области блокчейна.

Для моделей вывода с открытым исходным кодом, поскольку они требуют меньше вычислительных ресурсов, модель можно загрузить в сегмент данных для выполнения; для непубличных моделей или крупных моделей данные необходимо дезсенсибилизировать и загрузить на конечную модель. Методы дезсенсибилизации включают синтетические данные и доказательства нулевого знания.

Будь то загрузка модели на сторону данных или загрузка данных на сторону модели, проблема полномочий должна быть решена, чтобы предотвратить мошенничество модели или данных.

Challenge: Хотя токенные поощрения Web3 могут помочь решить эту проблему, проблема обмана должна быть решена.

3) Сотрудничество модели

В сообществе Civitai, крупнейшей в мире платформе для обмена моделями искусственного интеллекта, люди делятся моделями и могут легко скопировать модель и изменить ее, чтобы создать модель, соответствующую их собственным требованиям.

Bittensor, проект двойного консенсуса с открытым исходным кодом и искусственным интеллектом для новичков, разработал набор децентрализованных моделей с токен-стимулами. Основываясь на механизме совместной работы экспертов, он совместно создает модель для решения проблем и поддерживает дистилляцию знаний, которые могут быть обменены между моделями. Информация, ускоренное обучение, что предоставляет множество стартапов возможность участвовать в больших моделях.

Как унифицированная сеть для услуг вне цепочки, таких как автоматизация, оракулы и общее искусственное интеллект, Autonolas разработала рамочное сотрудничество для агентов с целью достижения консенсуса через Tendermint.

Challenge: Обучение многих моделей по-прежнему требует много общения, а надежность и временная эффективность распределенного обучения по-прежнему являются огромными препятствиями;

Большие модели и инновации в Web3

В сочетании с вышеупомянутым как Web3 может быть использован для решения некоторых проблем в крупной модельной индустрии. Сочетание двух важных сил приведет к появлению инновационных приложений.

1) Используйте ChatGPT для написания умных контрактов

Недавно художник NFT использовал подсказки для работы с ChatGPT без каких-либо знаний программирования, чтобы выпустить свой собственный умный контракт и выпустить токен Turboner. Художник использовал YouTube, чтобы записать свой процесс создания на протяжении недели, вдохновляя всех использовать ChatGPT. Участвуйте в создании умного контракта.

2) Крипто-платеж обеспечивает интеллектуальное управление

Разработка больших моделей значительно улучшила интеллект умных помощников, а в сочетании с зашифрованными платежами умные помощники смогут координировать больше ресурсов и сотрудничать над большим количеством задач на рынке умных помощников. AutoGPT демонстрирует зависимость от кредитной карты, предоставленной пользователем, и он может помочь пользователю автоматизировать покупку ресурсов облачных вычислений и бронирование авиабилетов, но ограничен автоматическим входом в систему или другой аутентификацией безопасности, а возможности AutoGPT сильно ограничены автоматическим входом в систему или другой аутентификацией безопасности. Проект мультиагентной системы (MAS), включая протокол Contract Net, включает в себя сотрудничество нескольких интеллектуальных помощников на открытом рынке, и если оно будет поддерживаться токенами, такое сотрудничество прорвется через ограниченное сотрудничество, основанное на доверии, и станет более масштабным сотрудничеством, основанным на рыночной экономике, подобно тому, как человеческое общество переходит от примитивного общества к денежному обществу.

3) zkML（Машинное обучение с нулевым разглашением знаний）

Применение технологии доказательства нулевого знания (zkp) в блокчейне разделяется на две категории. Одна из них заключается в решении проблем производительности блокчейна путем передачи вычислительных требований на внебиржевую платформу, а затем в подтверждении на блокчейне с помощью zkp; вторая категория используется для защиты конфиденциальности транзакций. Применения zkp в больших моделях включают в себя доверительные вычисления моделей (для доказательства согласованности и подлинности вычислений моделей) и конфиденциальные вычисления тренировочных данных. В децентрализованной среде поставщик модели должен доказать клиентам, что проданная модель соответствует обещанной клиенту модели, не обманывая; для партнеров по тренировочным данным необходимо участвовать в тренировках или использовать модель на условиях защиты собственной конфиденциальности. Хотя zkp предлагает некоторые возможности, все еще существует много проблем, и решения, такие как гомоморфные вычисления и федеративные вычисления конфиденциальности, все еще недостаточно зрелы.

Решение на основе архитектуры BEC (Blockchain Edge Client)

Помимо вышеперечисленных школ, есть еще одна школа, которая не получила широкого внимания из-за отсутствия токенов и использования минималистических блокчейн-приложений.

Архитектура на основе BEC имеет много сходств с концепциями Web5, упомянутыми Джеком Дорси и Solid Тимом Бернерс-Ли во многих аспектах.

Они все думают:

• У каждого человека есть соответствующий узел управления краем;
• Вычисления и хранение в большинстве сценариев приложений должны обрабатываться на краевых узлах;
• Сотрудничество между отдельными узлами завершается через блокчейн;
• Связь между узлами осуществляется через P2P;
• Люди могут полностью контролировать свои собственные узлы в одиночку или поручить доверенным лицам управление узлами (в некоторых сценариях их называют ретрансляционными серверами);
• Достигнута максимально возможная децентрализация;

Когда этот узел, соответствующий каждому человеку и контролируемый индивидуумом, хранит персональные данные и загружает большую модель, можно обучить полностью персонализированного, на 100% защищенного конфиденциальностью персонального интеллектуального агента (Агента). Китайский партнер-основатель SIG доктор Гун Тин романтически сравнил будущий личный узел с личным облаком над головой Олафа в «Холодном сердце», которое всегда следует за ним.

Таким образом, Аватар в Метавселенной больше не будет изображением, управляемым клавиатурой, а агентом с душой. Он может изучать новости онлайн, обрабатывать электронную почту и даже автоматически отвечать на наши социальные чаты от нашего имени 24 часа в сутки. (Внимание, докучливые подруги, вам может понадобиться способ определить, использует ли ваш парень агента для общения с вами в будущем). Когда вашему агенту нужны новые навыки, как установка приложения на мобильный телефон, вы можете установить новое приложение на своем узле.

Сводка

Исторически, с непрерывной платформизацией развития интернета, хотя время рождения единорогов становится все более коротким, это становится все более вредным для развития стартапов.

С помощью эффективной платформы распределения контента, предоставленной Google и Facebook, Youtube, родившийся в 2005 году, был приобретен Google всего через год за 1,6 миллиарда долларов США.

Вместе с эффективной платформой распространения приложений Apple App Store, Instagram был основан в 2012 году более чем 10 людьми и был приобретен Facebook за 1 миллиард долларов США в 2012 году.

При поддержке большой модели ChatGPT Midjourney, в которой всего 11 человек, зарабатывает 100 миллионов долларов в год. И OpenAI, в которой не более 100 человек, оценивается в более чем 20 миллиардов долларов.

Интернет-платформенные компании становятся все более мощными, и появление крупных моделей не изменило существующую модель интернета, монополизированную крупными предприятиями. Три элемента крупных моделей, алгоритмы, данные и вычислительная мощность, по-прежнему монополизированы крупными предприятиями. Начинающие компании не имеют возможности инновировать крупные модели и не имеют финансовой силы для обучения крупных моделей. Они могут сосредоточиться только на применении крупных моделей в вертикальных областях. Хотя кажется, что крупные модели способствуют популяризации знаний, реальная власть контролируется не более чем 100 людьми в мире, которые обладают способностью создавать модели.

Если в будущем крупные модели проникнут во все сферы жизни людей, и вы спросите у ChatGPT о своем ежедневном рационе, вашем здоровье, рабочей электронной почте и письмах вашего юриста, то в теории те, кто владеет крупными моделями, могут просто изменить некоторые параметры тайно и существенно повлиять на жизнь бесчисленного количества людей. Некоторая безработица, вызванная крупной моделью, может быть решена с помощью UBI или Worldcoin, но последствия возможного зла, вызванного контролем крупной модели небольшим числом людей, более серьезны. Это исходное намерение OpenAI. Хотя OpenAI решает проблемы, связанные с прибылью, с помощью некоммерческих методов, как она решает проблемы, вызванные властью? Очевидно, что крупные модели быстро обучают модели знаний, используя знания, накопленные людьми за десятилетия и свободно распространяемые в интернете, но этой моделью управляет очень малое количество людей.

1. Поэтому между крупными моделями и блокчейном существует огромное противоречие ценностей. Практики блокчейна должны участвовать в предпринимательстве с использованием крупных моделей и использовать технологию блокчейна для решения проблем, связанных с крупными моделями. Если огромное количество данных, доступных бесплатно в Интернете, является общим знанием человечества, то крупные модели, созданные на основе этих данных, должны принадлежать всему человечеству. Как и OpenAI, который недавно начал платить за литературные базы данных, OpenAI должен платить за персональные блоги, которым посвящаем себя вы и я.

Отказ от ответственности：

1. Эта статья перепечатана с [ThreeDAO, Остров Всего]. Все авторские права принадлежат оригинальному автору [36C]. Если есть возражения к данному перепечатыванию, пожалуйста, свяжитесь с Gate Learnкоманда, и они незамедлительно справятся с этим.
2. Ответственность за отказ: Взгляды и мнения, выраженные в этой статье, являются исключительно мнением автора и не являются инвестиционным советом.
3. Переводы статьи на другие языки выполняются командой Gate Learn. Если не указано иное, копирование, распространение или плагиат переведенных статей запрещены.