Gemma 4在llama.cpp上终于稳了


4月2号Google发了Gemma 4,第一天就有llama.cpp支持但bug多。现在所有问题都修完了
E2B、E4B、26B MoE、31B Dense
31B在Arena AI排行第3,26B排第6
开源模型最强梯队
用--chat-template-file加载interleaved模版
建议开--cache-ram 2048
上下文长度根据显存来
去年本地最好的是Llama 3.1 70B量化版,勉强能用
现在Gemma 4 31B Q5在Mac Studio上流畅跑,接近GPT-4级别
不依赖API的AI应用开始有商业可行性。数据不出本机,成本为零,延迟极低
对于一人企业,本地模型是真正的基础设施。竞争对手在付API费,你的边际成本是电费
Gemma 4 + llama.cpp = 本地推理最优解,可以上生产了
Посмотреть Оригинал
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить