Réseau à l'ère de l'IA : demande, innovation et opportunités d'investissement

Avec l'avènement de l'ère des grands modèles, le réseau est devenu un maillon clé de la chaîne industrielle de l'IA. Cet article explorera l'importance du réseau à l'ère de l'IA, les directions d'innovation des technologies de communication, ainsi que les opportunités d'investissement connexes.

1. Origine des besoins réseau

L'entraînement de grands modèles impose des exigences plus élevées aux réseaux, principalement dans les domaines suivants :

1. L'écart entre la taille du modèle et la puissance de calcul d'une seule carte s'élargit, nécessitant une collaboration d'entraînement sur plusieurs clusters de serveurs.
2. Le réseau est non seulement utilisé pour le transfert de données, mais surtout pour synchroniser les paramètres du modèle entre les cartes graphiques.
3. Les exigences en matière de densité et de capacité du réseau ont considérablement augmenté.

Temps d'entraînement du modèle = taille des données d'entraînement * nombre de paramètres du modèle / taux de calcul Taux de calcul = Taux de calcul par appareil * Nombre d'appareils * Efficacité de parallélisme multi-appareils

Pour réduire le temps d'entraînement, il est nécessaire d'améliorer l'efficacité du calcul, principalement en augmentant le nombre d'appareils et en améliorant l'efficacité du parallélisme.

Au cours de l'entraînement, il est nécessaire d'aligner les cartes après chaque calcul, ce qui pose des exigences plus élevées en matière de transmission et d'échange de réseau.

Le coût des pannes est élevé. L'entraînement de grands modèles dure des mois, et une interruption entraînera des pertes de progression et de coûts sévères.

2. Direction d'innovation réseau

2.1 Le changement des supports de communication

La lumière, le cuivre et le silicium sont les principaux milieux de transmission. Les modules optiques, tout en recherchant des taux plus élevés, explorent également des voies de réduction des coûts telles que LPO, LRO et la photonique sur silicium. Les câbles en cuivre dominent les connexions dans les armoires grâce à leur rapport qualité-prix. De nouvelles technologies comme les Chiplets et le Wafer-scaling explorent les limites de l'interconnexion basée sur le silicium.

2.2 La concurrence des protocoles réseau

Les protocoles de communication inter-puces sont fortement liés aux cartes graphiques, comme le NV-LINK de NVIDIA et l'Infinity Fabric d'AMD. La communication entre les nœuds est principalement une compétition entre IB et Ethernet.

2.3 Changements dans l'architecture réseau

L'architecture de feuilles et de racines est actuellement couramment adoptée. Cependant, avec l'augmentation de l'échelle des clusters, de nouvelles architectures telles que Dragonfly et l'architecture rail-only devraient devenir des directions d'évolution pour les très grands clusters.

3. Conseils d'investissement

Les acteurs clés du système de communication : Zhongji Xuchuang, NewEase, Tianfu Communication, Industrial Fulian, Invec, Hu Electric Co.

Innovations dans les systèmes de communication : Yangtze Optical Fiber, Taison, SourceJet Technology, Shengke Communication-U, Cambrian, Dekolite

4. Avertissement de risque

1. La demande en IA est inférieure aux attentes
2. Échec de la loi d'échelle
3. Intensification de la concurrence dans l'industrie