Скорость вывода LLM, предоставляемого этой компанией, настолько высока, что дымит, и может достигать как минимум 1500 токенов в секунду!



Какое это понятие? В открытом маршрутизаторе производительность модели qwen3 coder представлена на следующем изображении: средняя производительность Cerebras составляет 1650 токенов/с, что в 17 раз больше, чем у второго места с 92 токенами/с.

С таким объемом данных за считанные секунды можно выдать несколько тысяч строк кода в области программирования!

核心竞争力 этой компании заключается в разработанной ими технологии чипов, на рисунке 2 представлено сравнение скорости вывода их чипов и традиционных GPU 👇
Посмотреть Оригинал
post-image
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
0/400
Нет комментариев
  • Закрепить