DeepSeek publie en open source TileKernels, une bibliothèque de noyaux GPU pour l’entraînement et l’inférence de grands modèles

GateNews

Progression du projet Actualités de l’industrie de l’IA

2026-04-23 09:45:56

Message de l’actualité Gate News, le 23 avril — DeepSeek a publié en open source TileKernels sous licence MIT, une bibliothèque de noyaux GPU écrite dans TileLang pour l’entraînement et l’inférence de grands modèles de langage. TileLang est un langage spécifique au domaine développé par l’équipe tile-ai pour exprimer des noyaux GPU à haute performance en Python. DeepSeek a déclaré que la plupart des noyaux de la bibliothèque ont atteint les limites de performance du matériel en termes de densité de calcul et de bande passante mémoire, avec des portions déjà déployées dans des opérations internes d’entraînement et d’inférence.

La bibliothèque se compose de six catégories de noyaux : MoE (mélange d’experts) de gating et de routage, y compris la sélection d’experts Top-k, le mappage jeton-vers-expert, et l’expansion/réduction fusionnée avec normalisation des poids ; la quantification prenant en charge les formats FP8, FP4 et E5M6 avec quantification par jeton, par bloc et par canal, y compris des opérations fusionnées de SwiGLU+quantification ; la transposition par lots ; le gating Engram avec propagation avant/arrière RMSNorm fusionnée et réduction du gradient de poids ; Manifold HyperConnection avec normalisation Sinkhorn et split/apply mixte ; et des interfaces autograd de haut niveau qui enveloppent des noyaux de bas niveau dans des couches entraînables.

Engram et Manifold HyperConnection sont des composants propriétaires de l’architecture de modèle de DeepSeek, dont les détails d’implémentation ont été divulgués publiquement pour la première fois. La bibliothèque nécessite des GPU d’architecture NVIDIA SM90 ou SM100 (H100/H200 ou série Blackwell), CUDA Toolkit 13.1 ou supérieur, et PyTorch 2.10 ou supérieur.

Afficher la source

Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'avertissement.