С быстрым расширением технологии AI агент (AI agent) в Силиконовой долине и финансированием в размере 8,2 миллиарда долларов в 2024 году, эти автономные системы постепенно проникают в финансовый сектор, инфраструктуру и уровень принятия решений. Однако за этой технологической революцией возникает ключевая, но часто игнорируемая проблема: «Как мы можем проверить, являются ли действия AI агента надежными?»
Силиконовая долина вложила 8,2 миллиарда долларов в ИИ-агентов в прошлом году.
Скоро они будут контролировать наши деньги, инфраструктуру и принятие решений.
Но есть одна проблема, о которой никто не говорит:
Как мы можем проверить, говорят ли AI-агенты правду? pic.twitter.com/zEj7z5mGyX
— Сергей Горбунов (@sergey_nog) 22 апреля 2025 года
Силиконовая долина активно инвестирует в AI-агентов, но доверие все еще основано на «черном ящике»?
Соучредитель Chainlink Сергей Горбунов вчера опубликовал сообщение, в котором отметил, что в настоящее время AI-агенты, хотя и упакованы как автономные системы, способные самостоятельно выполнять сложные задачи, на самом деле в большинстве своем работают по принципу "черного ящика" — то есть пользователи не могут узнать их внутренние процессы принятия решений и могут только слепо доверять.
Реально автономный AI-агент должен одновременно обладать свойствами "неподконтрольности" и "проверяемости", однако современные системы часто не соответствуют этим стандартам.
(AI 世界的 USB-C интерфейс: Что такое Model Context Protocol (MCP)? Интерпретация универсального контекстного протокола AI помощника )
Почему «проверяемость» является настоящей гарантией безопасности?
Горбунов подчеркивает, что верифицируемость означает, что AI-агенты должны четко объяснять: «Что они сделали? Как они это сделали? Соблюдали ли они установленные правила?»
Если отсутствуют эти механизмы, то когда AI-агенты получат контроль над ключевой инфраструктурой, это может повлечь за собой огромные риски. Этот «разрыв верификации (verification gap)», если его не решить должным образом, может стать скрытой угрозой в развитии технологий.
Три типа AI-агентов, каждый с разными требованиями к верификации.
Согласно словам основателя EigenLayer Sreeram Kannan, AI-агенты могут быть разделены на три категории в зависимости от обслуживаемых клиентов:
Личные агенты (Личные агенты): в основном обслуживают частных клиентов, такие как цифровые помощники, требования к проверке относительно невысоки.
Общие агенты ( Commons Agents ): обслуживать сообщество, требуется средняя степень проверки для обеспечения справедливости и доверия.
Суверенные агенты (: полностью независимые от человеческой операции, должны обладать высшим уровнем проверочных возможностей.
В течение следующих пяти лет эти суверенные агенты могут контролировать триллионы долларов активов. Если механизмы проверки не будут достаточно зрелыми, это будет похоже на "строительство дома на зыби".
Трехуровневая система верификации: восстановление основ доверия к AI-агентам
Для решения проблемы верификации Каннан предложил трехуровневую структуру верификации:
Прогнозная проверка )Proactive Verification(: оценка до выполнения задания.
Ретроактивная верификация ): проверка правильности после завершения задания.
Параллельная проверка (Concurrent Verification): постоянный мониторинг и запись в процессе выполнения задач.
Эта структура позволяет сделать поведение ИИ прозрачным, чтобы повысить уровень доверия.
От страховых выплат до прогнозирования рынка: практическое применение проверяемого ИИ
Каннан также упомянул о потенциальном применении проверяемых AI-агентов в страховых выплатах. В настоящее время в страховой отрасли одна компания одновременно выполняет функции эмитента и проверяющего, что часто вызывает кризис доверия:
С помощью проверяемых AI-агентов процесс компенсации может быть преобразован в независимую проверку и выполнен с помощью прозрачного механизма исполнения и аудита, что усиливает справедливость и доверие.
Кроме того, такие платформы, как EigenBets, объединяют технологии ZK-TLS и проверяемого вывода, что позволяет сделать работу прогнозных рынков более прозрачной и сократить зависимость от централизованных властей.
(Сэм Олтман: три основных наблюдения: стоимость снижается в 10 раз каждый год, AI-агенты становятся новым стандартом работы, активы, которые не могут быть заменены AI, будут дорожать)
Блокчейн + ИИ: создание будущего билета для AI-агентов
С учетом все более сложных систем ИИ, Гарбунов считает, что технологии блокчейн могут предоставить необходимую криптографическую основу доверия и помочь в создании мощной структуры верификации:
Сочетание AI-агентов на основе блокчейна не только повышает доверие и гибкость, но и делает смарт-контракты действительно «умными», прокладывая путь для будущих AI-приложений.
В конце статьи Горбунов также прикрепил ссылку на свое YouTube-шоу «Будущее ИИ», подчеркнув, что ключевая разработка для будущего ИИ-агентов заключается не просто в построении более мощных моделей, а в умении:
доказать результаты своих действий
Прозрачное представление процесса вывода
Заработать доверие с помощью криптомеханизмов
Он подчеркивает: "Только достигнув этих трех основных целей, AI-агенты смогут безопасно функционировать в будущих системах."
Эта статья от финансового консультанта до секретаря, о вызовах доверия к AI-агентам: можем ли мы доверять автономным решениям искусственного интеллекта? Впервые опубликовано в Chain News ABMedia.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
От финансового консультанта до секретаря: вызовы доверия к AI-агентам. Можем ли мы доверять автономным решениям искусственного интеллекта?
С быстрым расширением технологии AI агент (AI agent) в Силиконовой долине и финансированием в размере 8,2 миллиарда долларов в 2024 году, эти автономные системы постепенно проникают в финансовый сектор, инфраструктуру и уровень принятия решений. Однако за этой технологической революцией возникает ключевая, но часто игнорируемая проблема: «Как мы можем проверить, являются ли действия AI агента надежными?»
Силиконовая долина вложила 8,2 миллиарда долларов в ИИ-агентов в прошлом году.
Скоро они будут контролировать наши деньги, инфраструктуру и принятие решений.
Но есть одна проблема, о которой никто не говорит:
Как мы можем проверить, говорят ли AI-агенты правду? pic.twitter.com/zEj7z5mGyX
— Сергей Горбунов (@sergey_nog) 22 апреля 2025 года
Силиконовая долина активно инвестирует в AI-агентов, но доверие все еще основано на «черном ящике»?
Соучредитель Chainlink Сергей Горбунов вчера опубликовал сообщение, в котором отметил, что в настоящее время AI-агенты, хотя и упакованы как автономные системы, способные самостоятельно выполнять сложные задачи, на самом деле в большинстве своем работают по принципу "черного ящика" — то есть пользователи не могут узнать их внутренние процессы принятия решений и могут только слепо доверять.
Реально автономный AI-агент должен одновременно обладать свойствами "неподконтрольности" и "проверяемости", однако современные системы часто не соответствуют этим стандартам.
(AI 世界的 USB-C интерфейс: Что такое Model Context Protocol (MCP)? Интерпретация универсального контекстного протокола AI помощника )
Почему «проверяемость» является настоящей гарантией безопасности?
Горбунов подчеркивает, что верифицируемость означает, что AI-агенты должны четко объяснять: «Что они сделали? Как они это сделали? Соблюдали ли они установленные правила?»
Если отсутствуют эти механизмы, то когда AI-агенты получат контроль над ключевой инфраструктурой, это может повлечь за собой огромные риски. Этот «разрыв верификации (verification gap)», если его не решить должным образом, может стать скрытой угрозой в развитии технологий.
Три типа AI-агентов, каждый с разными требованиями к верификации.
Согласно словам основателя EigenLayer Sreeram Kannan, AI-агенты могут быть разделены на три категории в зависимости от обслуживаемых клиентов:
Личные агенты (Личные агенты): в основном обслуживают частных клиентов, такие как цифровые помощники, требования к проверке относительно невысоки.
Общие агенты ( Commons Agents ): обслуживать сообщество, требуется средняя степень проверки для обеспечения справедливости и доверия.
Суверенные агенты (: полностью независимые от человеческой операции, должны обладать высшим уровнем проверочных возможностей.
В течение следующих пяти лет эти суверенные агенты могут контролировать триллионы долларов активов. Если механизмы проверки не будут достаточно зрелыми, это будет похоже на "строительство дома на зыби".
Трехуровневая система верификации: восстановление основ доверия к AI-агентам
Для решения проблемы верификации Каннан предложил трехуровневую структуру верификации:
Прогнозная проверка )Proactive Verification(: оценка до выполнения задания.
Ретроактивная верификация ): проверка правильности после завершения задания.
Параллельная проверка (Concurrent Verification): постоянный мониторинг и запись в процессе выполнения задач.
Эта структура позволяет сделать поведение ИИ прозрачным, чтобы повысить уровень доверия.
От страховых выплат до прогнозирования рынка: практическое применение проверяемого ИИ
Каннан также упомянул о потенциальном применении проверяемых AI-агентов в страховых выплатах. В настоящее время в страховой отрасли одна компания одновременно выполняет функции эмитента и проверяющего, что часто вызывает кризис доверия:
С помощью проверяемых AI-агентов процесс компенсации может быть преобразован в независимую проверку и выполнен с помощью прозрачного механизма исполнения и аудита, что усиливает справедливость и доверие.
Кроме того, такие платформы, как EigenBets, объединяют технологии ZK-TLS и проверяемого вывода, что позволяет сделать работу прогнозных рынков более прозрачной и сократить зависимость от централизованных властей.
(Сэм Олтман: три основных наблюдения: стоимость снижается в 10 раз каждый год, AI-агенты становятся новым стандартом работы, активы, которые не могут быть заменены AI, будут дорожать)
Блокчейн + ИИ: создание будущего билета для AI-агентов
С учетом все более сложных систем ИИ, Гарбунов считает, что технологии блокчейн могут предоставить необходимую криптографическую основу доверия и помочь в создании мощной структуры верификации:
Сочетание AI-агентов на основе блокчейна не только повышает доверие и гибкость, но и делает смарт-контракты действительно «умными», прокладывая путь для будущих AI-приложений.
В конце статьи Горбунов также прикрепил ссылку на свое YouTube-шоу «Будущее ИИ», подчеркнув, что ключевая разработка для будущего ИИ-агентов заключается не просто в построении более мощных моделей, а в умении:
доказать результаты своих действий
Прозрачное представление процесса вывода
Заработать доверие с помощью криптомеханизмов
Он подчеркивает: "Только достигнув этих трех основных целей, AI-агенты смогут безопасно функционировать в будущих системах."
Эта статья от финансового консультанта до секретаря, о вызовах доверия к AI-агентам: можем ли мы доверять автономным решениям искусственного интеллекта? Впервые опубликовано в Chain News ABMedia.