Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация кооперативной технологической революции
В полной цепочке создания стоимости ИИ моделирование является этапом с наибольшими затратами ресурсов и наивысшим технологическим порогом, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованное обучение является наиболее распространенным традиционным способом, при котором одна организация выполняет весь процесс обучения на локальном высокопроизводительном кластере. Все компоненты, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, системы планирования кластера и заканчивая фреймворком обучения, координируются единым контрольным системой. Эта глубоко согласованная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов. Однако при этом существуют проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть узкие места в вычислениях и хранении на одном компьютере. Несмотря на наличие "распределенных" характеристик в физическом смысле, в целом управление, планирование и синхронизация все еще контролируются централизованной организацией, и обычно оно работает в среде скоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры совместно используются, необходимо согласовать веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности;
Тензорное параллелизм: детальная сегментация матричных вычислений, повышение уровня параллелизма.
Распределенное обучение является комбинацией "централизованного контроля + распределенного исполнения", аналогично тому, как один и тот же босс удаленно управляет несколькими "офисными" сотрудниками для совместного выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировок представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют тренировочные задачи без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, используя механизмы криптоощущения для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Бутылочное горлышко эффективности связи: нестабильная сетевая связь, явные проблемы с синхронизацией градиентов;
Отсутствие доверенного выполнения: отсутствие доверенной среды выполнения, трудно проверить, действительно ли узел участвует в вычислении;
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката ошибок сложны.
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит свою вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, которая охватывает множество аспектов, включая системную архитектуру, коммуникационные протоколы, криптозащиту, экономические механизмы, проверку моделей и т. д., но вопрос о том, возможно ли "совместное взаимодействие + стимулирование честности + правильные результаты", все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, оно подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и способности к локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены правовыми нормами и этическими ограничениями, что делает невозможным открытое совместное использование; а задачи, у которых нет базовой мотивации для сотрудничества, страдают от отсутствия внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. Фактически, в задачах, которые имеют легкую структуру, легко параллелятся и могут быть стимулируемыми, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, связанные с выравниванием поведения, краудсорсинг данных для обучения и аннотирования, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировочных классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в архитектуре систем и дизайне алгоритмов, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье будет последовательно проанализирована ключевая технология и инженерная архитектура этих пяти проектов, а также далее будет обсуждаться их различия и взаимодополняющие отношения в децентрализованной системе обучения ИИ.
Prime Intellect: Пионер сети совместного обучения с подкреплением, отслеживаемой валидацией
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Одно, структура стеков протокола Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамочным решением для моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация обучающих сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо завершать циклы задач локально и сотрудничать через стандартизированный интерфейс с механизмами проверки и агрегации. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации эластичного обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: легковесный механизм проверки поведения при обучении
TOPLOC — это основная механика проверяемости, предложенная Prime Intellect, предназначенная для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия и предоставляет жизнеспособный путь для создания аудитируемой и стимулирующей сети децентрализованного совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и переменным состоянием узлов. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая прогрессивной сходимости весов и многовариантной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения и является основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизационного фреймворка связи, разработанного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения распространённых проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на соседние узлы для совместного обучения модели. Совместив асинхронные обновления и механизм восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, что является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает терпимость сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, не требующей доверия сети совместного обучения.
Три. Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждения за реальные вклады. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений веса и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участие в расчете вознаграждений и агрегации стратегий
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый контур стимулов, основанный на "реальных тренировочных действиях".
Четыре, INTELLECT-2: Первый выпущенный проверяемый Децентрализованный обучающий модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превышает 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только явилась прорывом в производительности, но и впервые системно реализовала парадигму "обучение — это консенсус", предложенную Prime Intellect. INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию децентрализованной сети обучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
9
Поделиться
комментарий
0/400
RuntimeError
· 07-28 16:20
бык哦 ai 也要 Децентрализация了
Посмотреть ОригиналОтветить0
UnluckyMiner
· 07-28 02:28
Ай, слишком уж сложно, даже с Майнингом уже не заработать.
Посмотреть ОригиналОтветить0
SolidityStruggler
· 07-28 02:26
卧槽 AI要Открытый исходный код了 бык哇
Посмотреть ОригиналОтветить0
DegenApeSurfer
· 07-27 17:42
Вычислительная мощность такая дорогая, так что стоит заняться федерацией.
Посмотреть ОригиналОтветить0
TokenTaxonomist
· 07-27 00:33
хм... статистически говоря, централизованное обучение является таксономическим тупиком в древе эволюции ИИ. Позвольте мне открыть мою матрицу оценки рисков...
Посмотреть ОригиналОтветить0
ContractFreelancer
· 07-27 00:30
Цок-цок, снова придется жечь видеокарты?
Посмотреть ОригиналОтветить0
just_another_wallet
· 07-27 00:29
Тренировка так дорого обходится, это в основном промывание глаз.
Посмотреть ОригиналОтветить0
MoonMathMagic
· 07-27 00:24
Кто будет платить за такую затратную децентрализацию?
Посмотреть ОригиналОтветить0
AirdropCollector
· 07-27 00:17
Что бы ни было централизовано, в конечном итоге это нужно изменить, изначально должно быть децентрализовано.
Инновация режима тренировки ИИ: технологическая эволюция от централизованного к Децентрализация
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация кооперативной технологической революции
В полной цепочке создания стоимости ИИ моделирование является этапом с наибольшими затратами ресурсов и наивысшим технологическим порогом, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованное обучение является наиболее распространенным традиционным способом, при котором одна организация выполняет весь процесс обучения на локальном высокопроизводительном кластере. Все компоненты, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, системы планирования кластера и заканчивая фреймворком обучения, координируются единым контрольным системой. Эта глубоко согласованная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов. Однако при этом существуют проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть узкие места в вычислениях и хранении на одном компьютере. Несмотря на наличие "распределенных" характеристик в физическом смысле, в целом управление, планирование и синхронизация все еще контролируются централизованной организацией, и обычно оно работает в среде скоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение является комбинацией "централизованного контроля + распределенного исполнения", аналогично тому, как один и тот же босс удаленно управляет несколькими "офисными" сотрудниками для совместного выполнения задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировок представляет собой более открытую и устойчивую к цензуре будущую траекторию. Ее ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют тренировочные задачи без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, используя механизмы криптоощущения для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит свою вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, которая охватывает множество аспектов, включая системную архитектуру, коммуникационные протоколы, криптозащиту, экономические механизмы, проверку моделей и т. д., но вопрос о том, возможно ли "совместное взаимодействие + стимулирование честности + правильные результаты", все еще находится на ранней стадии прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, оно подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и способности к локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены правовыми нормами и этическими ограничениями, что делает невозможным открытое совместное использование; а задачи, у которых нет базовой мотивации для сотрудничества, страдают от отсутствия внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложной концепцией. Фактически, в задачах, которые имеют легкую структуру, легко параллелятся и могут быть стимулируемыми, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, связанные с выравниванием поведения, краудсорсинг данных для обучения и аннотирования, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировочных классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в архитектуре систем и дизайне алгоритмов, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье будет последовательно проанализирована ключевая технология и инженерная архитектура этих пяти проектов, а также далее будет обсуждаться их различия и взаимодополняющие отношения в децентрализованной системе обучения ИИ.
Prime Intellect: Пионер сети совместного обучения с подкреплением, отслеживаемой валидацией
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Одно, структура стеков протокола Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является рамочным решением для моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация обучающих сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо завершать циклы задач локально и сотрудничать через стандартизированный интерфейс с механизмами проверки и агрегации. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации эластичного обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: легковесный механизм проверки поведения при обучении
TOPLOC — это основная механика проверяемости, предложенная Prime Intellect, предназначенная для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия и предоставляет жизнеспособный путь для создания аудитируемой и стимулирующей сети децентрализованного совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и переменным состоянием узлов. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая прогрессивной сходимости весов и многовариантной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения и является основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизационного фреймворка связи, разработанного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения распространённых проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, строя разреженные топологические структуры, такие как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на соседние узлы для совместного обучения модели. Совместив асинхронные обновления и механизм восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, что является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает терпимость сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, не требующей доверия сети совместного обучения.
Три. Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждения за реальные вклады. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый контур стимулов, основанный на "реальных тренировочных действиях".
Четыре, INTELLECT-2: Первый выпущенный проверяемый Децентрализованный обучающий модель
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превышает 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только явилась прорывом в производительности, но и впервые системно реализовала парадигму "обучение — это консенсус", предложенную Prime Intellect. INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию децентрализованной сети обучения.