DeepSeek 開源 TileKernels:大型模型訓練與推理用 GPU Kernel 庫

Gate News 訊息,4 月 23 日 — DeepSeek 已在 MIT 許可證下開源 TileKernels,這是一個以 TileLang 編寫的 GPU kernel 庫,用於大型語言模型的訓練與推理。TileLang 是 tile-ai 團隊所開發的領域特定語言,用於在 Python 中表達高效能的 GPU kernel。DeepSeek 表示,該程式庫中的多數 kernel 已接近在運算密度與記憶體頻寬方面的硬體效能上限,其中部分已部署於內部的訓練與推理作業。

該程式庫包含六類 kernel:MoE (專家混合) 的 gating 與路由,包括 Top-k 專家選擇、token-to-expert 對映,以及帶權重正規化的融合 expand/shrink;支援量化的格式包含 FP8、FP4 與 E5M6,並提供逐 token、逐區塊與逐通道的量化,包含融合的 SwiGLU+量化運算;batch transpose;Engram gating,並融合 RMSNorm 前向/反向傳播與權重梯度歸約;Manifold HyperConnection,採用 Sinkhorn 正規化與混合的 split/apply;以及高階 autograd 介面,將低階 kernel 封裝為可訓練層。

Engram 與 Manifold HyperConnection 是 DeepSeek 模型架構的專有元件,實作細節首次向公眾公開。該程式庫需要 NVIDIA SM90 或 SM100 架構的 GPU (H100/H200 或 Blackwell 系列)、CUDA Toolkit 13.1 或更高版本,以及 PyTorch 2.10 或更高版本。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

Aurise Foundation 推出 XAUE 黃金收益代幣,$76M 初始儲備

Gate 新聞訊息,4 月 23 日——Aurise Foundation 宣布推出 XAUE,一種以以太坊為基礎的黃金收益代幣,作為 Tether Gold (XAUT) 的金庫層。生態合作夥伴 Aurelion 與 Antalpha 共同出資 16,052 XAU,價值約 $76 百萬,作為初始儲備。 XAUE

GateNews16分鐘前

AVAX One 公布 2026 年第一季度業績:持有 1,400 萬枚 AVAX,營收翻倍至 240 萬美元

Gate News 訊息,4 月 23 日 — AVAX One,這是一家在納斯達克上市的加密貨幣資產金庫公司,發布了 2026 年第一季度初步業績:季度營收環比翻倍至約 240 萬美元,主要由 Avalanche 資產質押獎勵以及比特幣挖礦業務增長推動。 該公司持有約

GateNews17分鐘前

Lotus 整合 WisdomTree 貨幣市場基金,以在 DeFi 借貸中建立收益底線

Gate News 消息,4月23日 — 即将推出的 DeFi 借貸協議 Lotus 已整合 WisdomTree 的 Treasury Money Market Digital Fund (WTGXX),作為支撐 LotusUSD(其核心金庫代幣)的儲備框架的一部分。這標誌著在“

GateNews56分鐘前

Delphi AI 預測市場在 Gensyn 主網上線

Gate News 消息,4 月 23 日——AI 預測市場協議 Delphi 已正式在 Gensyn 上線,Gensyn 是一個 AI 計算協議,使人類與 AI 代理能夠在同一平台上進行預測交易。結算透過已驗證的 AI 預言機在鏈上完成。 Gensyn 先前在 2025 年 12 月於其測試網上線了 Delphi

GateNews1小時前

Andre Cronje 的 DeFi 平台 Flying Tulip 上線提款熔斷器

Gate News 消息,4 月 23 日——Andre Cronje 的去中心化金融平台 Flying Tulip 已推出提款熔斷器機制,旨在於資本異常外流期間延遲或排隊提款,以降低潛在損失並提供時間進行調查。 該機制

GateNews1小時前

Pyth Network 將於 2026 年稍晚退役 Pythnet 應用鏈,OIS 獎勵宣告結束

Gate 新聞訊息,4月23日——Pyth Network 宣布,隨著提案 OP-PIP-100 獲通過,Pythnet 應用鏈將於 2026 年晚些時候退役;同時,提案 OP-PIP-103 已將 Oracle Integrity Staking (OIS) 的獎勵分配比率設為零,標誌著於 2024 年底推出的 OIS 獎勵機制走入終點,我

GateNews1小時前
留言
0/400
暫無留言