La bataille des cent modèles dans le domaine de l'IA est en cours, mais les perspectives commerciales restent floues.
Le mois dernier, une "guerre des animaux" a éclaté dans le domaine de l'IA. D'un côté se trouve le modèle Llama de Meta, qui est largement apprécié des développeurs en raison de sa nature open source. Après avoir étudié Llama, la société japonaise NEC a rapidement développé une version japonaise de ChatGPT. De l'autre côté se trouve un grand modèle nommé Falcon, qui, après sa sortie en mai, a surpassé Llama pour atteindre la première place du classement des LLM open source.
Il est intéressant de noter que Falcon n'est pas issu d'une entreprise technologique, mais a été développé par l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, aux Émirats arabes unis. Des responsables émiratis ont déclaré qu'ils s'engagent dans ce domaine pour "déjouer les acteurs clés". Le lendemain de la sortie de la version 180B de Falcon, le ministre de l'IA des Émirats a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time.
Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence entre de nombreux acteurs, avec des pays et des entreprises puissants qui développent leurs propres grands modèles. Rien que dans la région du Golfe, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour former des LLM pour ses universités locales.
Un investisseur a récemment exprimé son mécontentement sur les réseaux sociaux : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrières. Je ne m'attendais pas à ce que l'entrepreneuriat dans les grands modèles de technologie dure encore dans une guerre de centaines de modèles..."
Comment une technologie dure prétendument à haut seuil d'entrée est-elle devenue une compétition à laquelle tout le monde peut participer ?
Transformer change les règles du jeu
Les start-ups, les géants de la technologie et les magnats du pétrole du monde entier peuvent poursuivre le rêve des grands modèles grâce à l'article "Attention Is All You Need" publié par Google en 2017. Cet article a révélé l'algorithme Transformer, qui est devenu le catalyseur de cette vague actuelle d'IA. Actuellement, tous les grands modèles, quelle que soit leur nationalité, y compris la série GPT qui fait sensation dans le monde, reposent sur la base du Transformer.
Auparavant, "enseigner aux machines à lire" était un problème académique reconnu. Contrairement à la reconnaissance d'image, lors de la lecture, les humains ne se concentrent pas seulement sur les mots et phrases actuels, mais intègrent également le contexte pour comprendre. Les entrées des premiers réseaux de neurones étaient indépendantes les unes des autres, rendant difficile la compréhension de longs textes ou même d'articles entiers, ce qui a conduit à des problèmes tels que la traduction de "开水间" en "open water room".
En 2014, après avoir travaillé chez Google, le scientifique en informatique Ilya Sutskever( a rejoint OpenAI et a obtenu une percée. Il a utilisé des réseaux de neurones récurrents)RNN( pour traiter le langage naturel, permettant à Google Traduction de dépasser de manière significative ses concurrents. Le RNN a proposé un "design cyclique", permettant à chaque neurone de recevoir à la fois l'entrée du moment actuel et l'entrée du moment précédent, acquérant ainsi la capacité de "comprendre le contexte".
L'émergence des RNN a enflammé l'enthousiasme de la recherche académique, l'auteur du papier sur les Transformers, Noam Shazeer ), y était également passionné. Cependant, les développeurs ont rapidement découvert de graves défauts dans les RNN : cet algorithme utilise un calcul séquentiel, bien qu'il puisse résoudre les problèmes de contexte, son efficacité d'exécution est faible et il est difficile de traiter un grand nombre de paramètres.
Le design complexe des RNN a exaspéré Székel. À partir de 2015, lui et sept autres passionnés ont commencé à développer un alternative aux RNN, dont le résultat final est le Transformer. Par rapport aux RNN, le Transformer présente deux grandes innovations : d'une part, il remplace la conception en boucle par un codage de position, permettant un calcul parallèle, ce qui améliore considérablement l'efficacité de l'entraînement et propulse l'IA dans l'ère des grands modèles ; d'autre part, il renforce encore la capacité de compréhension du contexte.
Le Transformer a résolu de nombreux défauts et est devenu progressivement la solution dominante pour le traitement du langage naturel NLP(. Même Ilia a abandonné son propre RNN qu'il avait créé pour rejoindre le camp des Transformers. On peut dire que le Transformer est l'ancêtre de tous les grands modèles d'aujourd'hui, ayant transformé les grands modèles d'une recherche théorique en un simple problème d'ingénierie.
En 2019, OpenAI a développé le GPT-2 basé sur Transformer, choquant le monde académique. Google a immédiatement lancé un modèle d'IA plus performant, Meena. Par rapport à GPT-2, Meena n'a pas d'innovation algorithmique, mais a simplement augmenté de 8,5 fois les paramètres d'entraînement et de 14 fois la puissance de calcul. L'auteur du Transformer, Ashish Vaswani, a été extrêmement choqué par cette "accumulation violente" et a rédigé un mémo intitulé "Meena dévore le monde".
Depuis l'apparition des Transformers, la vitesse d'innovation des algorithmes de base dans le milieu académique a considérablement ralenti. Les facteurs d'ingénierie tels que l'ingénierie des données, l'échelle de la puissance de calcul et l'architecture des modèles deviennent de plus en plus cruciaux dans la compétition AI. Toute entreprise technologique ayant une certaine capacité technique peut développer de grands modèles.
Le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et l'intelligence artificielle générative actuelle. Ce sont toutes des technologies générales, similaires à d'autres technologies générales comme l'électricité et l'internet."
OpenAI reste sans aucun doute le baromètre dans le domaine des LLM, mais l'agence d'analyse des semi-conducteurs Semi Analysis estime que la compétitivité de GPT-4 provient des solutions d'ingénierie – si c'est open source, n'importe quel concurrent peut rapidement le copier. Cet analyste prévoit qu'il ne faudra peut-être pas longtemps avant que d'autres grandes entreprises technologiques puissent développer des modèles de grande taille équivalents aux performances de GPT-4.
Où est établi le fossé?
Actuellement, la "bataille des grands modèles" n'est plus une métaphore, mais une réalité. Selon les rapports, jusqu'en juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis, et divers mythes et légendes ne suffisent presque plus aux entreprises technologiques nationales pour choisir des noms.
À l'exception des États-Unis et de la Chine, d'autres pays riches ont également réalisé un "modèle unique par pays" : le Japon, les Émirats Arabes Unis, ainsi que Bhashini dirigé par le gouvernement indien, et HyperClova X développé par la société Internet sud-coréenne Naver. Ce phénomène semble nous ramener à l'époque de la bulle Internet, où chacun dépensait de l'argent pour entrer sur le marché.
Comme mentionné précédemment, le Transformer transforme les grands modèles en un simple problème d'ingénierie : tant que l'on dispose de fonds et de matériel, le reste consiste à peaufiner les paramètres. Cependant, une baisse du seuil d'entrée ne signifie pas que tout le monde peut devenir un géant à l'ère de l'IA.
Le "conflit animalier" mentionné au début est un exemple typique : bien que Falcon ait surpassé Llama dans le classement, il est difficile de dire quel impact cela a réellement sur Meta. Comme tout le monde le sait, les entreprises ouvrent leurs résultats de recherche au public, non seulement pour partager les bénéfices technologiques, mais aussi pour mobiliser l'intelligence collective. À mesure que divers secteurs continuent d'utiliser et d'améliorer Llama, Meta peut appliquer ces résultats à ses propres produits.
Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta a établi une voie open source dès la création de son laboratoire d'IA en 2015 ; Zuckerberg, ayant commencé avec les médias sociaux, comprend mieux l'importance de "maintenir des relations avec le public".
Par exemple, en octobre, Meta a spécialement organisé l'événement "Incitation des créateurs d'IA" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement ont la chance de recevoir un financement de 500 000 dollars. Aujourd'hui, la série Llama de Meta est devenue un phare des LLM open source.
À début octobre, parmi les 10 premiers du classement open source LLM d'une plateforme connue, 8 sont basés sur Llama 2 et utilisent son protocole open source. Rien que sur cette plateforme, plus de 1500 LLM utilisant le protocole open source de Llama 2 ont été créés.
Il est certes possible d'améliorer les performances, mais la plupart des LLM et de GPT-4 présentent encore un écart évident. Par exemple, récemment, GPT-4 a remporté la première place au classement des tests AgentBench avec un score de 4,41. AgentBench a été lancé par l'Université Tsinghua et plusieurs universités américaines de renom, pour évaluer les capacités de raisonnement et de prise de décision des LLM dans des environnements de génération ouverte multidimensionnels.
Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, ce qui représente encore un écart important. Quant aux LLM open source très médiatisés, la plupart oscillent autour d'un point, ce qui est moins d'un quart de GPT-4. Il faut savoir que GPT-4 a été publié en mars de cette année, et c'est encore le résultat d'une course de plus de six mois après que ses homologues mondiaux aient commencé à le rattraper.
La différence est causée par l'équipe de scientifiques de haut niveau d'OpenAI et l'expérience accumulée par des recherches prolongées sur les LLM, ce qui lui permet de rester toujours en tête. En d'autres termes, la capacité fondamentale des grands modèles ne réside pas dans les paramètres, mais dans la construction de l'écosystème ) open source ( ou la capacité de raisonnement pure ) fermée (.
Avec l'essor des communautés open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires. Un autre problème plus évident est que, à part Midjourney, il ne semble pas qu'un grand modèle ait réussi à être rentable.
Recherche de points d'ancrage de valeur
En août de cette année, un article intitulé "OpenAI pourrait faire faillite d'ici fin 2024" a suscité l'attention. Le sujet de l'article peut presque être résumé en une phrase : le rythme de consommation d'OpenAI est trop rapide.
L'article mentionne qu depuis le développement de ChatGPT, les pertes d'OpenAI se sont rapidement aggravées, atteignant environ 540 millions de dollars en 2022, n'étant soutenues que par les investissements de Microsoft. Bien que le titre de cet article soit accrocheur, il révèle également la situation de nombreux fournisseurs de grands modèles : un déséquilibre sévère entre les coûts et les revenus.
Des coûts excessifs signifient qu'à l'heure actuelle, seuls Nvidia, et éventuellement Broadcom, réalisent vraiment de gros bénéfices grâce à l'IA. Selon le cabinet de conseil Omdia, Nvidia a vendu plus de 300 000 puces H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI efficace, que des entreprises technologiques et des instituts de recherche du monde entier s'arrachent. Si l'on empile ces 300 000 H100, leur poids équivaut à celui de 4,5 avions Boeing 747.
Les performances d'NVIDIA ont connu une flambée, avec une augmentation des revenus de 854 % par rapport à l'année précédente, laissant Wall Street sans voix. Il convient de noter que le prix du H100 sur le marché de l'occasion a été gonflé à 40 000 à 50 000 dollars, tandis que son coût matériel n'est que d'environ 3 000 dollars.
Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un obstacle au développement de l'industrie. Sequoia Capital a estimé que les entreprises technologiques mondiales devraient dépenser 200 milliards de dollars par an pour la construction d'infrastructures de grands modèles ; en revanche, ces grands modèles ne peuvent générer au maximum que 75 milliards de dollars de revenus par an, ce qui laisse un écart d'au moins 125 milliards de dollars.
De plus, à l'exception de quelques rares cas comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore trouvé de modèle de rentabilité après avoir investi des coûts énormes. Même les leaders du secteur comme Microsoft et Adobe font face à des défis.
L'outil de génération de code AI GitHub Copilot, développé par Microsoft en collaboration avec OpenAI, coûte 10 dollars par mois, mais en raison des coûts d'infrastructure, Microsoft perd en fait 20 dollars par mois. Les utilisateurs intensifs peuvent même faire perdre à Microsoft jusqu'à 80 dollars par mois. Par conséquent, on peut supposer que le Microsoft 365 Copilot, qui est au prix de 30 dollars, pourrait entraîner des pertes encore plus importantes.
De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points associé pour éviter que les utilisateurs n'en abusent et ne causent des pertes à l'entreprise. Dès qu'un utilisateur dépasse le quota de points alloués chaque mois, Adobe réduit la vitesse du service.
Il convient de noter que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios commerciaux clairs et un grand nombre d'utilisateurs payants. En revanche, la plupart des grands modèles avec de nombreux paramètres ont encore pour principal domaine d'application la conversation.
Il est indéniable que, sans l'émergence d'OpenAI et de ChatGPT, cette révolution de l'IA n'aurait peut-être pas eu lieu ; cependant, la valeur apportée par l'entraînement de grands modèles reste encore à prouver. Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles purs pourraient faire face à de plus grands défis.
Le succès de l'iPhone 4 ne réside pas dans son processeur A4 en technologie 45 nm, mais dans sa capacité à faire fonctionner des applications comme Plants vs. Zombies et Angry Birds.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
22 J'aime
Récompense
22
5
Partager
Commentaire
0/400
MetaverseLandlord
· 08-01 21:36
On fait quoi là ? On fait de l'argent maintenant.
Voir l'originalRépondre0
RektButStillHere
· 08-01 07:14
Avoir de l'argent permet vraiment de tout faire, c'est trop absurde.
Voir l'originalRépondre0
SigmaBrain
· 07-30 01:56
Les jouets sont vraiment impressionnants, on pense qu'il suffit de débourser un peu d'argent pour tout bouleverser.
Voir l'originalRépondre0
FrogInTheWell
· 07-30 01:53
L'ambition des Émirats arabes unis est assez grande.
Voir l'originalRépondre0
WalletDetective
· 07-30 01:40
Développer un produit, au final, cela dépend aussi de l'épaisseur du portefeuille.
Derrière la bataille des modèles IA : Goutte des barrières technologiques, les perspectives commerciales restent floues.
La bataille des cent modèles dans le domaine de l'IA est en cours, mais les perspectives commerciales restent floues.
Le mois dernier, une "guerre des animaux" a éclaté dans le domaine de l'IA. D'un côté se trouve le modèle Llama de Meta, qui est largement apprécié des développeurs en raison de sa nature open source. Après avoir étudié Llama, la société japonaise NEC a rapidement développé une version japonaise de ChatGPT. De l'autre côté se trouve un grand modèle nommé Falcon, qui, après sa sortie en mai, a surpassé Llama pour atteindre la première place du classement des LLM open source.
Il est intéressant de noter que Falcon n'est pas issu d'une entreprise technologique, mais a été développé par l'Institut de recherche sur l'innovation technologique d'Abou Dhabi, aux Émirats arabes unis. Des responsables émiratis ont déclaré qu'ils s'engagent dans ce domaine pour "déjouer les acteurs clés". Le lendemain de la sortie de la version 180B de Falcon, le ministre de l'IA des Émirats a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time.
Aujourd'hui, le domaine de l'IA est entré dans une phase de concurrence entre de nombreux acteurs, avec des pays et des entreprises puissants qui développent leurs propres grands modèles. Rien que dans la région du Golfe, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour former des LLM pour ses universités locales.
Un investisseur a récemment exprimé son mécontentement sur les réseaux sociaux : "À l'époque, je méprisais l'innovation des modèles commerciaux d'Internet, pensant qu'il n'y avait pas de barrières. Je ne m'attendais pas à ce que l'entrepreneuriat dans les grands modèles de technologie dure encore dans une guerre de centaines de modèles..."
Comment une technologie dure prétendument à haut seuil d'entrée est-elle devenue une compétition à laquelle tout le monde peut participer ?
Transformer change les règles du jeu
Les start-ups, les géants de la technologie et les magnats du pétrole du monde entier peuvent poursuivre le rêve des grands modèles grâce à l'article "Attention Is All You Need" publié par Google en 2017. Cet article a révélé l'algorithme Transformer, qui est devenu le catalyseur de cette vague actuelle d'IA. Actuellement, tous les grands modèles, quelle que soit leur nationalité, y compris la série GPT qui fait sensation dans le monde, reposent sur la base du Transformer.
Auparavant, "enseigner aux machines à lire" était un problème académique reconnu. Contrairement à la reconnaissance d'image, lors de la lecture, les humains ne se concentrent pas seulement sur les mots et phrases actuels, mais intègrent également le contexte pour comprendre. Les entrées des premiers réseaux de neurones étaient indépendantes les unes des autres, rendant difficile la compréhension de longs textes ou même d'articles entiers, ce qui a conduit à des problèmes tels que la traduction de "开水间" en "open water room".
En 2014, après avoir travaillé chez Google, le scientifique en informatique Ilya Sutskever( a rejoint OpenAI et a obtenu une percée. Il a utilisé des réseaux de neurones récurrents)RNN( pour traiter le langage naturel, permettant à Google Traduction de dépasser de manière significative ses concurrents. Le RNN a proposé un "design cyclique", permettant à chaque neurone de recevoir à la fois l'entrée du moment actuel et l'entrée du moment précédent, acquérant ainsi la capacité de "comprendre le contexte".
L'émergence des RNN a enflammé l'enthousiasme de la recherche académique, l'auteur du papier sur les Transformers, Noam Shazeer ), y était également passionné. Cependant, les développeurs ont rapidement découvert de graves défauts dans les RNN : cet algorithme utilise un calcul séquentiel, bien qu'il puisse résoudre les problèmes de contexte, son efficacité d'exécution est faible et il est difficile de traiter un grand nombre de paramètres.
Le design complexe des RNN a exaspéré Székel. À partir de 2015, lui et sept autres passionnés ont commencé à développer un alternative aux RNN, dont le résultat final est le Transformer. Par rapport aux RNN, le Transformer présente deux grandes innovations : d'une part, il remplace la conception en boucle par un codage de position, permettant un calcul parallèle, ce qui améliore considérablement l'efficacité de l'entraînement et propulse l'IA dans l'ère des grands modèles ; d'autre part, il renforce encore la capacité de compréhension du contexte.
Le Transformer a résolu de nombreux défauts et est devenu progressivement la solution dominante pour le traitement du langage naturel NLP(. Même Ilia a abandonné son propre RNN qu'il avait créé pour rejoindre le camp des Transformers. On peut dire que le Transformer est l'ancêtre de tous les grands modèles d'aujourd'hui, ayant transformé les grands modèles d'une recherche théorique en un simple problème d'ingénierie.
En 2019, OpenAI a développé le GPT-2 basé sur Transformer, choquant le monde académique. Google a immédiatement lancé un modèle d'IA plus performant, Meena. Par rapport à GPT-2, Meena n'a pas d'innovation algorithmique, mais a simplement augmenté de 8,5 fois les paramètres d'entraînement et de 14 fois la puissance de calcul. L'auteur du Transformer, Ashish Vaswani, a été extrêmement choqué par cette "accumulation violente" et a rédigé un mémo intitulé "Meena dévore le monde".
Depuis l'apparition des Transformers, la vitesse d'innovation des algorithmes de base dans le milieu académique a considérablement ralenti. Les facteurs d'ingénierie tels que l'ingénierie des données, l'échelle de la puissance de calcul et l'architecture des modèles deviennent de plus en plus cruciaux dans la compétition AI. Toute entreprise technologique ayant une certaine capacité technique peut développer de grands modèles.
Le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et l'intelligence artificielle générative actuelle. Ce sont toutes des technologies générales, similaires à d'autres technologies générales comme l'électricité et l'internet."
OpenAI reste sans aucun doute le baromètre dans le domaine des LLM, mais l'agence d'analyse des semi-conducteurs Semi Analysis estime que la compétitivité de GPT-4 provient des solutions d'ingénierie – si c'est open source, n'importe quel concurrent peut rapidement le copier. Cet analyste prévoit qu'il ne faudra peut-être pas longtemps avant que d'autres grandes entreprises technologiques puissent développer des modèles de grande taille équivalents aux performances de GPT-4.
Où est établi le fossé?
Actuellement, la "bataille des grands modèles" n'est plus une métaphore, mais une réalité. Selon les rapports, jusqu'en juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis, et divers mythes et légendes ne suffisent presque plus aux entreprises technologiques nationales pour choisir des noms.
À l'exception des États-Unis et de la Chine, d'autres pays riches ont également réalisé un "modèle unique par pays" : le Japon, les Émirats Arabes Unis, ainsi que Bhashini dirigé par le gouvernement indien, et HyperClova X développé par la société Internet sud-coréenne Naver. Ce phénomène semble nous ramener à l'époque de la bulle Internet, où chacun dépensait de l'argent pour entrer sur le marché.
Comme mentionné précédemment, le Transformer transforme les grands modèles en un simple problème d'ingénierie : tant que l'on dispose de fonds et de matériel, le reste consiste à peaufiner les paramètres. Cependant, une baisse du seuil d'entrée ne signifie pas que tout le monde peut devenir un géant à l'ère de l'IA.
Le "conflit animalier" mentionné au début est un exemple typique : bien que Falcon ait surpassé Llama dans le classement, il est difficile de dire quel impact cela a réellement sur Meta. Comme tout le monde le sait, les entreprises ouvrent leurs résultats de recherche au public, non seulement pour partager les bénéfices technologiques, mais aussi pour mobiliser l'intelligence collective. À mesure que divers secteurs continuent d'utiliser et d'améliorer Llama, Meta peut appliquer ces résultats à ses propres produits.
Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta a établi une voie open source dès la création de son laboratoire d'IA en 2015 ; Zuckerberg, ayant commencé avec les médias sociaux, comprend mieux l'importance de "maintenir des relations avec le public".
Par exemple, en octobre, Meta a spécialement organisé l'événement "Incitation des créateurs d'IA" : les développeurs utilisant Llama 2 pour résoudre des problèmes sociaux tels que l'éducation et l'environnement ont la chance de recevoir un financement de 500 000 dollars. Aujourd'hui, la série Llama de Meta est devenue un phare des LLM open source.
À début octobre, parmi les 10 premiers du classement open source LLM d'une plateforme connue, 8 sont basés sur Llama 2 et utilisent son protocole open source. Rien que sur cette plateforme, plus de 1500 LLM utilisant le protocole open source de Llama 2 ont été créés.
Il est certes possible d'améliorer les performances, mais la plupart des LLM et de GPT-4 présentent encore un écart évident. Par exemple, récemment, GPT-4 a remporté la première place au classement des tests AgentBench avec un score de 4,41. AgentBench a été lancé par l'Université Tsinghua et plusieurs universités américaines de renom, pour évaluer les capacités de raisonnement et de prise de décision des LLM dans des environnements de génération ouverte multidimensionnels.
Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, ce qui représente encore un écart important. Quant aux LLM open source très médiatisés, la plupart oscillent autour d'un point, ce qui est moins d'un quart de GPT-4. Il faut savoir que GPT-4 a été publié en mars de cette année, et c'est encore le résultat d'une course de plus de six mois après que ses homologues mondiaux aient commencé à le rattraper.
La différence est causée par l'équipe de scientifiques de haut niveau d'OpenAI et l'expérience accumulée par des recherches prolongées sur les LLM, ce qui lui permet de rester toujours en tête. En d'autres termes, la capacité fondamentale des grands modèles ne réside pas dans les paramètres, mais dans la construction de l'écosystème ) open source ( ou la capacité de raisonnement pure ) fermée (.
Avec l'essor des communautés open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires. Un autre problème plus évident est que, à part Midjourney, il ne semble pas qu'un grand modèle ait réussi à être rentable.
Recherche de points d'ancrage de valeur
En août de cette année, un article intitulé "OpenAI pourrait faire faillite d'ici fin 2024" a suscité l'attention. Le sujet de l'article peut presque être résumé en une phrase : le rythme de consommation d'OpenAI est trop rapide.
L'article mentionne qu depuis le développement de ChatGPT, les pertes d'OpenAI se sont rapidement aggravées, atteignant environ 540 millions de dollars en 2022, n'étant soutenues que par les investissements de Microsoft. Bien que le titre de cet article soit accrocheur, il révèle également la situation de nombreux fournisseurs de grands modèles : un déséquilibre sévère entre les coûts et les revenus.
Des coûts excessifs signifient qu'à l'heure actuelle, seuls Nvidia, et éventuellement Broadcom, réalisent vraiment de gros bénéfices grâce à l'IA. Selon le cabinet de conseil Omdia, Nvidia a vendu plus de 300 000 puces H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI efficace, que des entreprises technologiques et des instituts de recherche du monde entier s'arrachent. Si l'on empile ces 300 000 H100, leur poids équivaut à celui de 4,5 avions Boeing 747.
Les performances d'NVIDIA ont connu une flambée, avec une augmentation des revenus de 854 % par rapport à l'année précédente, laissant Wall Street sans voix. Il convient de noter que le prix du H100 sur le marché de l'occasion a été gonflé à 40 000 à 50 000 dollars, tandis que son coût matériel n'est que d'environ 3 000 dollars.
Le coût élevé de la puissance de calcul est devenu, dans une certaine mesure, un obstacle au développement de l'industrie. Sequoia Capital a estimé que les entreprises technologiques mondiales devraient dépenser 200 milliards de dollars par an pour la construction d'infrastructures de grands modèles ; en revanche, ces grands modèles ne peuvent générer au maximum que 75 milliards de dollars de revenus par an, ce qui laisse un écart d'au moins 125 milliards de dollars.
De plus, à l'exception de quelques rares cas comme Midjourney, la plupart des entreprises de logiciels n'ont pas encore trouvé de modèle de rentabilité après avoir investi des coûts énormes. Même les leaders du secteur comme Microsoft et Adobe font face à des défis.
L'outil de génération de code AI GitHub Copilot, développé par Microsoft en collaboration avec OpenAI, coûte 10 dollars par mois, mais en raison des coûts d'infrastructure, Microsoft perd en fait 20 dollars par mois. Les utilisateurs intensifs peuvent même faire perdre à Microsoft jusqu'à 80 dollars par mois. Par conséquent, on peut supposer que le Microsoft 365 Copilot, qui est au prix de 30 dollars, pourrait entraîner des pertes encore plus importantes.
De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points associé pour éviter que les utilisateurs n'en abusent et ne causent des pertes à l'entreprise. Dès qu'un utilisateur dépasse le quota de points alloués chaque mois, Adobe réduit la vitesse du service.
Il convient de noter que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios commerciaux clairs et un grand nombre d'utilisateurs payants. En revanche, la plupart des grands modèles avec de nombreux paramètres ont encore pour principal domaine d'application la conversation.
Il est indéniable que, sans l'émergence d'OpenAI et de ChatGPT, cette révolution de l'IA n'aurait peut-être pas eu lieu ; cependant, la valeur apportée par l'entraînement de grands modèles reste encore à prouver. Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles purs pourraient faire face à de plus grands défis.
Le succès de l'iPhone 4 ne réside pas dans son processeur A4 en technologie 45 nm, mais dans sa capacité à faire fonctionner des applications comme Plants vs. Zombies et Angry Birds.