De la science à la secrétaire, regardez le défi de la confiance des agents de l’IA : peut-on faire confiance à la prise de décision autonome de l’intelligence artificielle ?
Avec l'expansion rapide de la technologie des agents IA (AI agent) dans la Silicon Valley, le financement atteint 8,2 milliards de dollars en 2024, ces systèmes autonomes pénètrent progressivement les secteurs financier, des infrastructures et de la prise de décision. Cependant, derrière cette révolution technologique, une question clé mais souvent négligée se pose : « Comment pouvons-nous vérifier si le comportement des agents IA est fiable ? »
La Silicon Valley a investi 8,2 milliards de dollars dans des agents d'IA l'année dernière.
Bientôt, ils contrôleront notre argent, notre infrastructure et notre prise de décision.
Mais il y a un problème dont personne ne parle :
Comment pouvons-nous vérifier si les agents IA disent la vérité ? pic.twitter.com/zEj7z5mGyX
— Sergey Gorbunov (@sergey_nog) 22 avril 2025
Les investissements massifs de la Silicon Valley dans les agents d'IA, mais la confiance repose toujours sur la "boîte noire" ?
Le cofondateur de Chainlink, Sergey Gorbunov, a publié hier soir en soulignant que, bien que les agents IA soient présentés comme des systèmes autonomes capables d'accomplir des tâches complexes de manière indépendante, la plupart d'entre eux fonctionnent encore de manière « boîte noire » - c'est-à-dire que les utilisateurs ne peuvent pas connaître leur processus de décision interne et doivent se contenter de faire confiance aveuglément :
Un agent IA véritablement autonome devrait posséder à la fois les caractéristiques d'« inarrêtable » et de « vérifiable », cependant, les systèmes actuels ne répondent souvent pas à cette norme.
(AI Interface USB-C du monde : Qu'est-ce que le Model Context Protocol (MCP) ? Interprétation du protocole de contexte universel de l'assistant AI )
Pourquoi la « vérifiabilité » est-elle la véritable garantie de sécurité ?
Gorbunov souligne que la vérifiabilité signifie qu'un agent IA doit être capable d'expliquer clairement « qu'est-ce qu'il a fait ? Comment a-t-il fait ? A-t-il respecté les règles établies ? » :
Sans ces mécanismes, lorsque les agents IA acquièrent le contrôle des infrastructures clés, cela pourrait entraîner des risques considérables. Ce « fossé de validation (verification gap) », s'il n'est pas correctement traité, pourrait devenir un danger caché dans le développement technologique.
Trois types d'agents AI, chacun avec des exigences de vérification différentes.
Selon Sreeram Kannan, le fondateur d'EigenLayer, les agents d'IA peuvent être classés en trois catégories en fonction de leurs services aux clients :
Agents personnels ( : principalement au service des particuliers, comme les assistants numériques, avec des exigences de vérification relativement faibles.
Agents communs ) : Servent la communauté, nécessitant une vérification d'intensité modérée pour garantir l'équité et la confiance.
Agents Souverains ( : complètement indépendants des opérations humaines, ils doivent posséder le plus haut niveau de capacité de vérification.
Au cours des cinq prochaines années, ces agents souverains pourraient contrôler des milliers de milliards de dollars d'actifs. Si le mécanisme de vérification n'est pas suffisamment mature, cela reviendra à "construire une maison sur du sable mouvant".
Système de vérification en trois niveaux : reconstruire la pierre angulaire de la confiance des agents IA
Pour résoudre le problème de validation, Kannan a proposé un cadre de validation en trois niveaux :
Vérification proactive ) : évaluation effectuée avant l'exécution de la mission.
Vérification rétrospective ( : Révision de sa justesse après l'achèvement de la mission.
Vérification Concurrente ) : Surveillance et enregistrement continus pendant l'exécution de la tâche.
Cette architecture permet de rendre le comportement de l'IA transparent afin d'accroître la confiance.
De l'indemnisation des assurances à la prévision du marché : applications pratiques de l'IA vérifiable
Kannan a également mentionné les applications potentielles des agents IA vérifiables dans les règlements d'assurance. Actuellement, l'industrie de l'assurance est dominée par une seule entreprise qui assume à la fois le rôle d'émetteur et d'auditeur, ce qui entraîne souvent une crise de confiance :
Grâce à un agent IA vérifiable, le processus d'indemnisation peut être transformé en une vérification indépendante, et exécuté avec un mécanisme transparent d'audit, renforçant ainsi l'équité et la crédibilité.
De plus, des plateformes comme EigenBets combinent ZK-TLS et des techniques de couche d'inférence vérifiable, ce qui permet un fonctionnement plus transparent des marchés de prédiction et réduit la dépendance à l'autorité centralisée.
(Sam Altman trois grandes observations : les coûts diminuent de 10 fois par an, les agents IA deviennent la nouvelle norme de travail, les actifs qui ne peuvent pas être remplacés par l'IA vont prendre de la valeur)
Blockchain + IA : créer le billet d'entrée pour l'avenir des agents IA
Face à des systèmes d'IA de plus en plus complexes, Gorbunov estime que la technologie blockchain peut fournir la base de confiance cryptographique nécessaire et aider à établir une architecture de validation solide :
L'agent AI combiné à la blockchain peut non seulement améliorer la crédibilité et la flexibilité, mais aussi rendre les contrats intelligents véritablement « intelligents », ouvrant la voie aux futures applications de l'IA.
À la fin, Gorbunov a également fourni un lien vers son émission YouTube « The Future of AI », soulignant que le développement clé des agents IA à l'avenir n'est pas seulement de créer des modèles plus puissants, mais de pouvoir :
Prouver les résultats de ses actions
Présentation transparente du processus de raisonnement
Gagner la confiance par des mécanismes cryptographiques
Il a souligné : « Ce n'est qu'en atteignant ces trois grands objectifs que les agents IA pourront fonctionner en toute sécurité dans les systèmes futurs. »
Cet article aborde les défis de confiance liés aux agents IA, de la gestion de patrimoine aux secrétaires : pouvons-nous faire confiance aux décisions autonomes de l'intelligence artificielle ? Publié pour la première fois sur Chaîne d'actualités ABMedia.
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
De la science à la secrétaire, regardez le défi de la confiance des agents de l’IA : peut-on faire confiance à la prise de décision autonome de l’intelligence artificielle ?
Avec l'expansion rapide de la technologie des agents IA (AI agent) dans la Silicon Valley, le financement atteint 8,2 milliards de dollars en 2024, ces systèmes autonomes pénètrent progressivement les secteurs financier, des infrastructures et de la prise de décision. Cependant, derrière cette révolution technologique, une question clé mais souvent négligée se pose : « Comment pouvons-nous vérifier si le comportement des agents IA est fiable ? »
La Silicon Valley a investi 8,2 milliards de dollars dans des agents d'IA l'année dernière.
Bientôt, ils contrôleront notre argent, notre infrastructure et notre prise de décision.
Mais il y a un problème dont personne ne parle :
Comment pouvons-nous vérifier si les agents IA disent la vérité ? pic.twitter.com/zEj7z5mGyX
— Sergey Gorbunov (@sergey_nog) 22 avril 2025
Les investissements massifs de la Silicon Valley dans les agents d'IA, mais la confiance repose toujours sur la "boîte noire" ?
Le cofondateur de Chainlink, Sergey Gorbunov, a publié hier soir en soulignant que, bien que les agents IA soient présentés comme des systèmes autonomes capables d'accomplir des tâches complexes de manière indépendante, la plupart d'entre eux fonctionnent encore de manière « boîte noire » - c'est-à-dire que les utilisateurs ne peuvent pas connaître leur processus de décision interne et doivent se contenter de faire confiance aveuglément :
Un agent IA véritablement autonome devrait posséder à la fois les caractéristiques d'« inarrêtable » et de « vérifiable », cependant, les systèmes actuels ne répondent souvent pas à cette norme.
(AI Interface USB-C du monde : Qu'est-ce que le Model Context Protocol (MCP) ? Interprétation du protocole de contexte universel de l'assistant AI )
Pourquoi la « vérifiabilité » est-elle la véritable garantie de sécurité ?
Gorbunov souligne que la vérifiabilité signifie qu'un agent IA doit être capable d'expliquer clairement « qu'est-ce qu'il a fait ? Comment a-t-il fait ? A-t-il respecté les règles établies ? » :
Sans ces mécanismes, lorsque les agents IA acquièrent le contrôle des infrastructures clés, cela pourrait entraîner des risques considérables. Ce « fossé de validation (verification gap) », s'il n'est pas correctement traité, pourrait devenir un danger caché dans le développement technologique.
Trois types d'agents AI, chacun avec des exigences de vérification différentes.
Selon Sreeram Kannan, le fondateur d'EigenLayer, les agents d'IA peuvent être classés en trois catégories en fonction de leurs services aux clients :
Agents personnels ( : principalement au service des particuliers, comme les assistants numériques, avec des exigences de vérification relativement faibles.
Agents communs ) : Servent la communauté, nécessitant une vérification d'intensité modérée pour garantir l'équité et la confiance.
Agents Souverains ( : complètement indépendants des opérations humaines, ils doivent posséder le plus haut niveau de capacité de vérification.
Au cours des cinq prochaines années, ces agents souverains pourraient contrôler des milliers de milliards de dollars d'actifs. Si le mécanisme de vérification n'est pas suffisamment mature, cela reviendra à "construire une maison sur du sable mouvant".
Système de vérification en trois niveaux : reconstruire la pierre angulaire de la confiance des agents IA
Pour résoudre le problème de validation, Kannan a proposé un cadre de validation en trois niveaux :
Vérification proactive ) : évaluation effectuée avant l'exécution de la mission.
Vérification rétrospective ( : Révision de sa justesse après l'achèvement de la mission.
Vérification Concurrente ) : Surveillance et enregistrement continus pendant l'exécution de la tâche.
Cette architecture permet de rendre le comportement de l'IA transparent afin d'accroître la confiance.
De l'indemnisation des assurances à la prévision du marché : applications pratiques de l'IA vérifiable
Kannan a également mentionné les applications potentielles des agents IA vérifiables dans les règlements d'assurance. Actuellement, l'industrie de l'assurance est dominée par une seule entreprise qui assume à la fois le rôle d'émetteur et d'auditeur, ce qui entraîne souvent une crise de confiance :
Grâce à un agent IA vérifiable, le processus d'indemnisation peut être transformé en une vérification indépendante, et exécuté avec un mécanisme transparent d'audit, renforçant ainsi l'équité et la crédibilité.
De plus, des plateformes comme EigenBets combinent ZK-TLS et des techniques de couche d'inférence vérifiable, ce qui permet un fonctionnement plus transparent des marchés de prédiction et réduit la dépendance à l'autorité centralisée.
(Sam Altman trois grandes observations : les coûts diminuent de 10 fois par an, les agents IA deviennent la nouvelle norme de travail, les actifs qui ne peuvent pas être remplacés par l'IA vont prendre de la valeur)
Blockchain + IA : créer le billet d'entrée pour l'avenir des agents IA
Face à des systèmes d'IA de plus en plus complexes, Gorbunov estime que la technologie blockchain peut fournir la base de confiance cryptographique nécessaire et aider à établir une architecture de validation solide :
L'agent AI combiné à la blockchain peut non seulement améliorer la crédibilité et la flexibilité, mais aussi rendre les contrats intelligents véritablement « intelligents », ouvrant la voie aux futures applications de l'IA.
À la fin, Gorbunov a également fourni un lien vers son émission YouTube « The Future of AI », soulignant que le développement clé des agents IA à l'avenir n'est pas seulement de créer des modèles plus puissants, mais de pouvoir :
Prouver les résultats de ses actions
Présentation transparente du processus de raisonnement
Gagner la confiance par des mécanismes cryptographiques
Il a souligné : « Ce n'est qu'en atteignant ces trois grands objectifs que les agents IA pourront fonctionner en toute sécurité dans les systèmes futurs. »
Cet article aborde les défis de confiance liés aux agents IA, de la gestion de patrimoine aux secrétaires : pouvons-nous faire confiance aux décisions autonomes de l'intelligence artificielle ? Publié pour la première fois sur Chaîne d'actualités ABMedia.