DeepSeek 开源 TileKernels:大型模型训练与推理的 GPU 内核库

Gate News 消息,4月23日——DeepSeek 已在 MIT 许可下开源了 TileKernels,这是一款使用 TileLang 编写的 GPU 内核库,面向大型语言模型的训练与推理。TileLang 是 tile-ai 团队开发的领域专用语言,用于在 Python 中表达高性能 GPU 内核。DeepSeek 表示,该库中的大多数内核已接近在计算密度与内存带宽方面的硬件性能上限,其中部分内容已部署到内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括 Top-k 专家选择、token 到专家的映射,以及带权重归一化的融合 expand/shrink;量化支持 FP8、FP4 和 E5M6 格式,提供按 token、按块和按通道的量化,并包含融合的 SwiGLU+量化操作;批量转置;Engram 门控,融合 RMSNorm 的前向/反向传播与权重梯度归约;Manifold HyperConnection,使用 Sinkhorn 归一化并进行混合的 split/apply;以及将底层内核封装为可训练层的高级 autograd 接口。

Engram 和 Manifold HyperConnection 是 DeepSeek 模型架构的专有组件,其实现细节首次向公众披露。该库需要 NVIDIA SM90 或 SM100 架构的 GPU (H100/H200 或 Blackwell 系列),CUDA Toolkit 13.1 或更高版本,以及 PyTorch 2.10 或更高版本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Pyth Network 转向以收入驱动的模式,并计划在 2026 年前逐步淘汰 Pythnet

Gate News 消息,4月23日——Pyth Network (PYTH),一家加密货币数据基础设施提供商,宣布对其经济模型进行重大改造:从基于代币的激励体系,转向以收入驱动的增长策略。 根据 OP-PIP-100 提案,该网络现有的基础设施,

GateNews2小时前

ADA 价格前瞻:Cardano 促成 LSE 代币化交易

关键见解 Cardano 对汉诺威再保险(Hannover Re)的再保险产品进行了代币化,并在伦敦证券交易所上市,推动了区块链在受监管的机构市场中的应用扩展。 ADA 价格在下降楔形内保持在区间内,当 $0.2400 的支撑仍然完好时,而阻力位接近 $0.2550 和 $0.2824 l

Crypto News Land3小时前

Energy Web 为真实世界市场验证推出已验证计算云

Gate News 消息,4月23日——Energy Web 正在构建去中心化基础设施,以验证跨真实世界市场的业务逻辑与主张,例如环境登记系统、碳信用体系以及供应链合规工作流程。该项目于2017年以 Energy Web Foundation 的名义成立,为一家瑞士

GateNews3小时前

Shytoshi Kusama 在 13 天沉默后重返 X,宣布周六社区讨论,因 SHIB 下跌 1.8%

Gate News 消息,4月23日——柴犬生态系统首席大使 Shytoshi Kusama 在今天结束了从 4 月 9 日开始的 13 天沉默后,重新回到 X。他确认了周六的预定社区讨论,暗示未来将有新进展。其更新后的个人简介现读作:“下一步:让我们只使用经文中的证据来设定‘被提(Rapture)’的日期。等你周六见,因为下一轮交接即将开始。”

GateNews5小时前

Girin Labs 推出集成 Doppler Finance 的 XRP 支付钱包,实现实时 XRPL 结算

Gate News 消息,4月23日——Girin Labs 已推出 Girin Wallet,将 Doppler Finance 的机构级收益层集成其中,以在日常交易中实现 XRP 与 RLUSD 支付。用户现在可以在任何支持 Visa 的商户处使用 XRP 和 RLUSD 进行消费,交易可在 XRP Ledger 上即时结算,不影响自托管。

GateNews5小时前

XRP 突破保持不变,因为 XRPL 借贷投票势头增强

关键洞察 XRP 在每周层面维持对主要加密货币的强势:价格守在关键 EMA 上方,表明即使在交易时段内出现轻微的日内下跌,动能仍持续存在。 XRPL 验证者通过 XLS-65 和 XLS-66 推进借贷升级,引入汇集式流动性金库和 f

Crypto News Land6小时前
评论
0/400
暂无评论