En tant que la technologie de haute technologie à la croissance la plus rapide de l'histoire de l'humanité, les grands modèles ont attiré l'attention de tous. Web3, qui n'était qu'une chose d'hier, est de plus en plus contesté légalement. Mais en tant que technologies totalement différentes, il n'y a pas de substitution entre les deux. La personne en charge du "Studio IA+Crypto" sur l'Île de Toutes Choses - M. Tian Hongfei, discutera avec vous des problèmes rencontrés dans le développement de grands modèles et de la manière dont les entreprises dans le domaine du web3 s'engagent à résoudre ces problèmes.

Problèmes de l'industrie des grands modèles et comment incorporer Web3 pour les résoudre

Comme nous le savons tous, l'industrie de l'Internet est entrée dans la phase d'oligopole après 2015, et les pays du monde entier ont mené des examens antitrust des entreprises de plateforme. L'émergence de grands modèles intensifie encore la position monopolistique des oligopoles. Les grands modèles comprennent les algorithmes, la puissance de calcul et les données :

• Dans le domaine des algorithmes, bien qu'il existe un certain degré de monopole, les algorithmes peuvent rester largement ouverts en raison des forces open source et de la rivalité entre les universités de recherche, ainsi que de la méfiance des oligarques.
• En termes de puissance de calcul, en raison du coût extrêmement élevé de la formation de grands modèles, la puissance de calcul ne peut être financée que par de grandes entreprises, ce qui résulte essentiellement en la production d'algorithmes étant complètement contrôlée par de grandes entreprises;
• En termes de données, alors que la formation de grands modèles repose sur des données publiques, les données publiques seront bientôt épuisées en raison de la croissance des paramètres des grands modèles, et par conséquent, la croissance continue des grands modèles repose sur des données privées. Bien que la quantité absolue de données détenues par un grand nombre de petites entreprises soit énorme, il est difficile de les utiliser de manière isolée, de sorte que les grandes entreprises conservent toujours un monopole sur les données.

Par conséquent, l'ère du Big Model est plus contrôlée de manière centrale que jamais, et le monde de l'avenir sera probablement contrôlé par une poignée, voire un seul ordinateur. (Même dans le monde décentralisé de Web3, le End Game proposé par Vitalik pour Ethereum sera géré par une machine géante en dehors des blocs.)

De plus, la société OpenAI qui a développé ChatGPT ne compte que plus de 20 employés principaux. En raison de diverses raisons, l'algorithme de ChatGPT n'a pas encore été open sourced. La nature originale de l'entreprise à but non lucratif a été changée en profit limité. Comme diverses applications qui dépendent de ChatGPT ont changé la vie humaine, certaines modifications du modèle ChatGPT auront un grand impact sur les humains. Comparé au principe de ne pas faire le mal de Google, ChatGPT a un impact plus profond sur les gens.

Par conséquent, la crédibilité computationnelle du modèle deviendra une question importante. Bien qu'OpenAI puisse être exploitée à but non lucratif, le contrôle du pouvoir par quelques personnes aura encore de nombreuses conséquences néfastes. (En revanche, bien que le Ethereum End Game proposé par Vitalik soit produit par une machine, il maintiendra la transparence grâce à une vérification très facile par le public.)

En même temps, il existe encore des problèmes dans l'industrie des grands modèles : pénurie de puissance de calcul, données de formation disponibles sur le point d'être consommées et partage de modèles. Selon les statistiques, avant 2021, le problème dans l'industrie de l'intelligence artificielle est le manque de données, et toutes les entreprises de deep learning recherchent des données dans des industries verticales; et après les grands modèles, le manque de puissance de calcul devient un obstacle.

Le développement de modèles volumineux est divisé en plusieurs étapes : collecte de données, prétraitement des données, formation du modèle, ajustement fin du modèle et inférence de requête de déploiement. À partir de ces étapes, décrivons brièvement la contribution de la blockchain aux modèles volumineux et comment lutter contre les effets néfastes de la concentration excessive de ces modèles.

• En termes de données, puisque les données publiques seront consommées après 2030, des quantités plus précieuses et plus importantes de données privées doivent être utilisées tout en protégeant la vie privée grâce à la technologie de la blockchain;
• En termes d'annotation de données, les jetons peuvent être utilisés pour inciter à une annotation à plus grande échelle et à la vérification des données;
• Lors de la phase d'entraînement du modèle, le partage de la puissance de calcul est réalisé grâce au partage du modèle et à l'entraînement collaboratif;
• Pendant la phase de peaufinage du modèle, la participation de la communauté peut être incentivée à travers des jetons;
• Dans la phase de requête utilisateur et de calcul de raisonnement, la blockchain peut protéger la confidentialité des données utilisateur.

En particulier :

1) Puissance informatique rare

La puissance de calcul est un facteur de production nécessaire pour les grands modèles, et c'est le facteur de production le plus cher aujourd'hui, au point que les startups qui viennent de lever des fonds doivent transférer 80% de leurs fonds à NVIDIA pour acheter des GPU. Les entreprises qui produisent leurs propres grands modèles doivent dépenser au moins 50 millions de dollars pour construire leurs propres centres de données, tandis que les petites startups doivent acheter des services informatiques dans le cloud coûteux.

Cependant, la popularité à court terme des grands modèles et la forte consommation de ressources informatiques par ces derniers ont largement dépassé la capacité d'approvisionnement de NVIDIA. Selon les statistiques, la demande en puissance de calcul des grands modèles double tous les quelques mois. Entre 2012 et 2018, la demande en puissance de calcul a augmenté de 300 000 fois, et le coût des calculs de grands modèles a augmenté de 31 fois chaque année.

Pour les entreprises Internet chinoises, elles doivent également faire face à l'embargo américain sur les GPU haut de gamme. On peut dire que le coût énorme de la formation est la raison principale pour laquelle la technologie des grands modèles est contrôlée par quelques personnes.

Alors, comment résoudre le problème de puissance de calcul des grands modèles grâce à la blockchain ?

En ce qui concerne la production de grands modèles, elle est principalement divisée en entraînement de grands modèles, ajustement fin et calcul d'inférence de requête utilisateur. Bien que les grands modèles soient notoirement coûteux à former, une version d'un grand modèle n'a besoin d'être générée qu'une seule fois. La plupart du temps, pour les utilisateurs de services de grands modèles, seule la computation inférentielle est requise. Selon les statistiques d'AWS, cela est également confirmé, 80% de la puissance de calcul est en fait consommée dans les calculs d'inférence.

Bien que la formation de grands modèles nécessite des capacités de communication haute vitesse entre les GPU, elle ne peut pas être réalisée sur le réseau (à moins que vous ne choisissiez d'échanger une extension de temps contre un faible coût). Mais les calculs d'inférence peuvent être effectués sur un seul GPU. Le réglage fin est basé sur le grand modèle qui a été généré et sur des données professionnelles fournies, il nécessite donc beaucoup moins de ressources de calcul que la formation de grands modèles.

En matière de rendu graphique, il est clair que les GPU grand public sont plus performants que les GPU d'entreprise et sont inactifs la plupart du temps. Depuis le lancement du projet SETI par l'Université de Californie à Berkeley pour rechercher des extraterrestres en 1999, et la popularité de l'informatique distribuée en 2000, il existe des architectures techniques qui utilisent des ressources informatiques inactives pour collaborer à la réalisation de tâches informatiques gigantesques. Avant l'émergence de la blockchain, ces collaborations étaient généralement axées sur des tâches scientifiques et reposaient sur l'enthousiasme et la participation à des activités d'intérêt public des participants, limitant ainsi l'impact. Désormais, grâce à la technologie blockchain, sa large gamme d'applications peut être encouragée par le biais de jetons.

Tout comme le projet de calcul en nuage décentralisé Akash, un réseau de calcul général a été établi, et les utilisateurs peuvent déployer des modèles d'apprentissage automatique pour des calculs de raisonnement et de rendu d'images. Il existe également des projets d'IA basés sur la blockchain tels que Bittensor, Modulus Lab, Giza et ChainML, qui visent tous les calculs d'inférence de requête.

Le protocole de calcul AI Gensyn et la plateforme open source d'IA générative Together sont déterminés à construire un réseau informatique décentralisé qui sert à l'entraînement de modèles volumineux.

Défi : Pour les réseaux informatiques décentralisés, la difficulté réside non seulement dans les réseaux de communication lents et peu fiables, l'incapacité à synchroniser les états de calcul, à traiter plusieurs types d'environnements de calcul de type GPU, mais aussi à faire face aux incitations économiques, à la triche des participants, à la preuve de charge de travail, à la sécurité, à la protection de la vie privée et aux attaques anti-spam.

2) Données rares et correction des données

L'algorithme central du grand modèle, l'apprentissage par renforcement à partir des retours humains (RLHF), nécessite la participation humaine pour ajuster la formation afin de corriger les erreurs et éliminer les biais et les informations nuisibles. OpenAI a utilisé RLHF pour peaufiner GPT3 afin de générer ChatGPT. Dans le processus, OpenAI a trouvé des experts du groupe Facebook et a payé des ouvriers kényans 2 $ de l'heure. La formation à l'optimisation nécessite souvent la participation d'experts humains sur des données de domaines spécialisés, et sa mise en œuvre peut être pleinement combinée avec des moyens d'inciter la participation de la communauté grâce à des jetons.

L'industrie des Réseaux d'Infrastructure Physique Décentralisée (DePINs) utilise des jetons pour encourager les gens à partager des données réelles et en temps réel du monde physique selon les capteurs pour divers modèles d'entraînement. Y compris : React collecte des données sur la consommation d'énergie, DIMO collecte des données de conduite de véhicules, WeatherXM collecte des données météorologiques, et Hivemapper collecte des données cartographiques grâce à des incitations en jetons pour encourager les gens à marquer les panneaux de signalisation et aider son algorithme d'apprentissage automatique RLHF à améliorer la précision.

En même temps, à mesure que les paramètres des grands modèles augmentent, les données publiques existantes seront épuisées d'ici 2030, et la progression continue des grands modèles devra reposer sur des données privées. La quantité de données privées est 10 fois supérieure à celle des données publiques, mais elles sont dispersées entre les mains des entreprises et des particuliers, et ont un caractère privé et confidentiel, ce qui rend leur exploitation difficile. Un double dilemme se pose. D'une part, le grand modèle a besoin de données, mais bien que la partie détenant les données ait besoin du grand modèle, elle ne souhaite pas les lui transmettre. Ce double problème peut également être résolu grâce à la technologie dans le domaine de la blockchain.

Pour les modèles d'inférence open source, car ils nécessitent moins de ressources informatiques, le modèle peut être téléchargé dans le segment de données pour l'exécution ; pour les modèles non publics ou les grands modèles, les données doivent être désensibilisées et téléchargées à l'extrémité du modèle. Les méthodes de désensibilisation incluent les données synthétiques et les preuves de connaissance zéro.

Que le modèle soit téléchargé du côté des données ou que les données soient téléchargées du côté du modèle, le problème d'autorité doit être résolu pour empêcher la triche du modèle ou des données.

Défi : Bien que les incitations en jetons de Web3 puissent aider à résoudre ce problème, le problème de la tricherie doit être résolu.

3) Collaboration de modèles

Dans la communauté Civitai, la plus grande plateforme de partage de modèles de peinture AI au monde, les gens partagent des modèles et peuvent facilement copier un modèle et le modifier pour générer un modèle qui répond à leurs propres besoins.

Bittensor, un projet de blockchain à double consensus et intelligence artificielle open source, a conçu un ensemble de modèles décentralisés incitatifs aux jetons. Basé sur le mécanisme de collaboration d'un mélange d'experts, il produit conjointement un modèle de résolution de problèmes et prend en charge la distillation des connaissances, qui peut être partagée entre les modèles. Information, formation accélérée, offrant ainsi à de nombreuses start-ups l'opportunité de participer à de grands modèles.

En tant que réseau unifié pour les services hors chaîne tels que l'automatisation, les oracles et l'IA partagée, Autonolas a conçu un cadre de collaboration pour que les agents parviennent à un consensus grâce à Tendermint.

Défi: La formation de nombreux modèles nécessite encore beaucoup de communication, et la fiabilité et l'efficacité temporelle de la formation distribuée restent encore d'énormes obstacles;

Grands modèles et innovation en Web3

En conjonction avec ce qui précède, comment Web3 peut être utilisé pour résoudre certains des problèmes de l'industrie de la modélisation. La combinaison de deux forces importantes donnera lieu à des applications innovantes.

1) Utilisez ChatGPT pour rédiger des contrats intelligents

Récemment, un artiste NFT a utilisé des invitations pour utiliser ChatGPT sans aucune connaissance en programmation pour publier son propre contrat intelligent et émettre le jeton Turboner. L'artiste a utilisé YouTube pour enregistrer son processus de création pendant une semaine, inspirant tout le monde à utiliser ChatGPT. Participer à la création de contrats intelligents.

2) Le paiement Crypto permet une gestion intelligente

Le développement de grands modèles a considérablement amélioré l'intelligence des assistants intelligents, et combiné avec des paiements cryptés, les assistants intelligents seront en mesure de coordonner plus de ressources et de collaborer sur plus de tâches sur le marché des assistants intelligents. AutoGPT démontre la dépendance à une carte de crédit fournie par l'utilisateur, et il peut aider l'utilisateur à automatiser l'achat de ressources informatiques en nuage et la réservation de vols, mais est limité par la connexion automatique ou par d'autres authentifications de sécurité, et les capacités d'AutoGPT sont gravement limitées par la connexion automatique ou par d'autres authentifications de sécurité. La conception du Système Multi Agent (SMA), comprenant le Protocole de Contrat Net, inclut la collaboration de multiples assistants intelligents sur un marché ouvert, et si elle est soutenue par des jetons, une telle collaboration brisera la collaboration limitée basée sur la confiance pour devenir une collaboration à plus grande échelle basée sur l'économie de marché, tout comme la société humaine passe d'une société primitive à une société monétaire.

3) zkML (Zero Knowledge Machine Learning)

L'application de la technologie de preuve de connaissance nulle (zkp) dans la blockchain est divisée en deux catégories. L'une consiste à résoudre les performances de la blockchain en transférant les exigences de calcul hors chaîne, puis en certifiant sur chaîne grâce à zkp; la deuxième catégorie est utilisée pour protéger la confidentialité des transactions. Les applications de zkp dans les grands modèles incluent les calculs de confiance dans le modèle (pour prouver la cohérence et l'authenticité des calculs du modèle) et les calculs de confidentialité des données d'entraînement. Dans un environnement décentralisé, le fournisseur de services du modèle doit prouver aux clients que le modèle vendu est le modèle promis au client, sans prendre de raccourcis; pour les partenaires de données d'entraînement, ils doivent participer à la formation ou utiliser le modèle en protégeant leur propre confidentialité. Bien que zkp offre certaines possibilités, il reste encore de nombreux défis, et des solutions telles que le calcul homomorphique et le calcul de confidentialité fédéré sont encore immatures.

Solution basée sur l'architecture BEC (Blockchain Edge Client)

En plus des écoles mentionnées ci-dessus, il existe une autre école qui n'a pas reçu une attention généralisée en raison du manque d'incitations en jetons et de l'utilisation d'applications minimalistes de la blockchain.

L'architecture basée sur BEC présente de nombreuses similitudes avec les concepts de Web5 mentionnés par Jack Dorsey et de Solid par Tim Berners-Lee à bien des égards.

Ils pensent tous:

• Chaque personne a un nœud de contrôle correspondant;
• Le calcul et le stockage dans la plupart des scénarios d'application doivent être traités au niveau des nœuds de bord;
• La collaboration entre les nœuds individuels est réalisée à travers la blockchain;
• La communication entre les nœuds est effectuée via P2P;
• Les individus peuvent entièrement contrôler leurs propres nœuds seuls ou confier la gestion des nœuds à des personnes de confiance (appelés serveurs relais dans certains scénarios);
• Atteint la plus grande décentralisation possible;

Lorsque ce nœud correspondant à chaque personne et contrôlé par l'individu stocke des données personnelles et charge le grand modèle, un agent intelligent personnel entièrement personnalisé, 100% protégé de la vie privée (Agent) peut être formé. Le partenaire fondateur chinois de SIG, le Dr Gong Ting, a comparé de manière romantique le nœud personnel futur au nuage personnel au-dessus de la tête d'Olaf dans « La Reine des neiges », qui le suit toujours.

De cette manière, l'Avatar dans le Metaverse ne sera plus une image contrôlée par un clavier, mais un agent avec une âme. Il peut étudier les actualités en ligne, traiter les e-mails, et même répondre automatiquement à vos messages de chat social en notre nom 24 heures sur 24. (Attention, les petites amies tatillonnes, vous pourriez avoir besoin d'un moyen de détecter si votre petit ami utilise un agent pour vous traiter à l'avenir). Lorsque votre agent a besoin de nouvelles compétences, tout comme l'installation d'une application sur un téléphone portable, vous pouvez installer une nouvelle application dans votre nœud.

Résumé

Historiquement, avec la plateformisation continue du développement d'Internet, bien que le temps de naissance des entreprises licornes soit devenu de plus en plus court, il est de plus en plus préjudiciable au développement des start-ups.

Avec la plateforme efficace de distribution de contenu fournie par Google et Facebook, Youtube, qui est né en 2005, a été acquis par Google pour 1,6 milliard de dollars américains seulement un an plus tard.

Aux côtés de la plateforme efficace de distribution d'applications de l'Apple App Store, Instagram a été fondé en 2012 par un peu plus de 10 personnes et a été acquis par Facebook pour 1 milliard de dollars US en 2012.

Avec le soutien du grand modèle ChatGPT, Midjourney, qui ne compte que 11 personnes, a généré 100 millions de dollars américains par an. Et OpenAI, qui ne compte pas plus de 100 personnes, est valorisé à plus de 20 milliards de dollars américains.

Les entreprises de plateformes Internet deviennent de plus en plus puissantes, et l'émergence de grands modèles n'a pas changé le schéma existant de la monopolisation d'Internet par de grandes entreprises. Les trois éléments des grands modèles, les algorithmes, les données et la puissance de calcul sont toujours monopolisés par de grandes entreprises. Les start-up n'ont pas la capacité d'innover de grands modèles et n'ont pas la force financière pour former de grands modèles. Elles ne peuvent se concentrer que sur l'application de grands modèles dans des domaines verticaux. Bien que les grands modèles semblent promouvoir la popularisation des connaissances, le véritable pouvoir est contrôlé par pas plus de 100 personnes dans le monde qui ont la capacité de produire des modèles.

Si de grands modèles pénètrent dans tous les aspects de la vie des gens à l'avenir, et que vous demandez à ChatGPT à propos de votre alimentation quotidienne, de votre santé, de vos e-mails professionnels et des lettres de votre avocat, alors en théorie, ceux qui maîtrisent de grands modèles n'ont besoin que de modifier secrètement certains paramètres. Cela peut grandement affecter la vie de nombreuses personnes. Certains chômage causé par le grand modèle pourrait être résolu via UBI ou Worldcoin, mais les conséquences de la possibilité de mal causée par le grand modèle étant contrôlé par quelques personnes sont plus graves. C'est l'intention originale d'OpenAI. Bien qu'OpenAI résolve les problèmes motivés par le profit à travers des méthodes sans but lucratif, comment résout-elle les problèmes motivés par le pouvoir ? De toute évidence, les grands modèles entraînent rapidement des modèles de connaissance en utilisant les connaissances accumulées par les humains depuis des décennies et partagées librement sur Internet, mais ce modèle est contrôlé par un très petit nombre de personnes.

1. Par conséquent, il existe un énorme conflit de valeurs entre les grands modèles et la blockchain. Les praticiens de la blockchain doivent participer à l'entrepreneuriat à grande échelle et utiliser la technologie de la blockchain pour résoudre les problèmes liés aux grands modèles. Si l'énorme quantité de données librement disponibles sur Internet est la connaissance commune de l'humanité, alors les grands modèles générés sur la base de ces données devraient appartenir à l'ensemble de l'humanité. Tout comme OpenAI a récemment commencé à payer pour des bases de données littéraires, OpenAI doit payer pour les blogs personnels auxquels vous et moi nous dédions.

Avertissement：

1. Cet article est repris de [Gate.io]ThreeDAO, Île de Toutes Choses]. Tous les droits d'auteur appartiennent à l'auteur original [36C]. Si des objections sont soulevées concernant cette reproduction, veuillez contacter le Porte Apprendreéquipe, et ils s'en occuperont rapidement.
2. Clause de non-responsabilité: Les points de vue et opinions exprimés dans cet article sont uniquement ceux de l'auteur et ne constituent aucun conseil en investissement.
3. Les traductions de l'article dans d'autres langues sont réalisées par l'équipe Gate Learn. Sauf mention contraire, il est interdit de copier, distribuer ou plagier les articles traduits.