Le parallélisme hybride désagrégé de Ray augmente l’entraînement multimodal de l’IA de 30 %

Iris Coleman

10 déc. 2025 01:06

Le parallélisme hybride désagrégé innovant de Ray améliore considérablement l’efficacité de l’entraînement en IA multimodale, atteignant une amélioration du débit allant jusqu’à 1,37x et surmontant les défis de mémoire.

Dans une avancée majeure pour la formation en intelligence artificielle, Ray a introduit une approche de parallélisme hybride désagrégé qui accélère l’entraînement de modèles d’IA multimodaux de 30 %, selon Anyscale. Ce développement répond aux complexités et aux défis computationnels liés à l’entraînement des modèles traitant divers types de données tels que le texte, les images et l’audio.

Défis dans l’entraînement multimodal de l’IA

Les modèles d’IA multimodaux, contrairement aux grands modèles de langage homogènes traditionnels, consistent en des modules spécialisés avec des besoins computationnels et mémoire variables. Les modèles de vision-langage (VLMs), par exemple, intègrent un encodeur de vision avec un grand (LLM) de modèle de langage. Cette intégration entraîne des complexités architecturales, notamment lorsqu’il s’agit d’images haute résolution et de longues séquences. Des techniques traditionnelles comme le parallélisme tensoriel et DeepSpeed ZeRO3 échouent souvent, entraînant des inefficacités et des erreurs potentielles de non-mémoire.

L’approche innovante de Ray

Le parallélisme hybride désagrégé de Ray tire parti de la flexibilité de son cadre universel, permettant des stratégies de parallélisation adaptées pour chaque module au sein d’un modèle multimodal. En utilisant l’architecture basée sur les acteurs de Ray, les développeurs peuvent allouer les ressources de manière indépendante, optimisant ainsi les besoins uniques de chaque module. Cela permet une orchestration plus efficace des charges de travail complexes, comme démontré avec le modèle Qwen-VL 32B.

Benchmarking et performance

Dans les tests menés avec le modèle Qwen-VL 32B, l’approche de Ray a montré une amélioration de débit de 1,37 fois par rapport aux méthodes traditionnelles. La stratégie combinait le parallélisme de séquence pour l’encodeur de vision avec le parallélisme tensoriel pour le LLM, gérant efficacement la mémoire et les demandes de calcul entre différents modules. Cette méthode a non seulement amélioré la vitesse, mais a aussi permis l’entraînement de séquences allant jusqu’à 65 000 jetons, dépassant les capacités de DeepSpeed ZeRO3 qui rencontrait des problèmes de mémoire à 16 000 jetons.

Perspectives d’avenir

Le succès du parallélisme hybride désagrégé de Ray pour améliorer l’efficacité de l’entraînement de l’IA ouvre la voie à son application sur de plus grands clusters GPU et des configurations matérielles variées. Sa capacité à s’adapter à diverses architectures multimodales met en lumière son potentiel pour une mise en œuvre plus large dans le développement de l’IA.

Pour ceux qui souhaitent explorer cette approche innovante, l’implémentation de Ray est disponible pour expérimentation et retour sur leur dépôt GitHub.

Source de l’image : Shutterstock