Согласно мониторингу 1M AI News, компания Fireworks AI, занимающаяся инфраструктурой вывода ИИ, выпустила предварительный просмотр Fireworks Training, расширяясь от чисто платформы вывода до интегрированной платформы для обучения и развертывания. Fireworks AI была основана Линь Цяо, бывшим инженером Meta, участвовавшим в создании PyTorch, и в настоящее время оценивается в 4 миллиарда долларов, обрабатывая 15 триллионов токенов ежедневно. Платформа предлагает три уровня: 1. Агент обучения: предназначен для продуктовых команд без инфраструктуры машинного обучения, позволяя им описывать задачи и загружать данные для завершения всего процесса от обучения до развертывания, в настоящее время поддерживает только LoRA; 2. Управляемое обучение: нацелено на инженеров машинного обучения, поддерживает SFT, DPO и дообучение с подкреплением, включая полное обучение параметров; 3. API обучения: ориентирован на исследовательские команды, позволяя настраивать функции потерь и циклы обучения, поддерживает алгоритмы, такие как GRPO и DAPO, с полными масштабами обучения параметров от одноузлового Qwen3 8B до Kimi K2.5 (триллион параметров) на 64 NVIDIA B200. Клиенты Fireworks AI по производственному выводу, инструменты программирования ИИ Cursor, Vercel и Genspark завершили передовое обучение с подкреплением на этой платформе. Vercel обучила модель автоматической коррекции ошибок для своего продукта генерации кода v0, достигнув 93% безошибочной генерации кода, по сравнению с только 62% у Sonnet 3.5, и улучшила задержку от конца до конца в 40 раз по сравнению с ранее используемой закрытой моделью. Genspark дообучила открытый модель триллион параметров Kimi K2 с помощью обучения с подкреплением для создания глубокого исследовательского агента, увеличив использование инструмента на 33% и снизив затраты на 50%. Cursor завершила распределенное обучение с подкреплением для Composer 2 на 3-4 кластерах по всему миру (в настоящее время занимает первое место на CursorBench), разделяя один и тот же пул GPU для обучения и производственного вывода. Fireworks AI подчеркивает свое ключевое технологическое отличие в числовой согласованности между обучением и выводом. Модели MoE (Смешанная группа экспертов) численно более хрупкие, чем плотные модели, где незначительные изменения в скрытых состояниях могут изменить маршрутизацию экспертов и усилить каскадные эффекты. Fireworks опубликовала значения KL-дивергенции между обучением и выводом для всех поддерживаемых моделей, все ниже 0.01.

post-image
post-image
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 1
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
KatyPatyvip
· 3ч назад
На Луну 🌕
Посмотреть ОригиналОтветить0
  • Закрепить