Cobertura de solo, aprimoramento do rastreamento de IA de agente… Suporte nativo do Google Vertex AI

Aplicativo de observabilidade para startups de observabilidade expandiu significativamente a funcionalidade de “Observabilidade de IA”. Esta atualização reforçou a capacidade de rastreamento de sistemas de IA baseados em agentes e adicionou suporte nativo totalmente compatível com a plataforma de IA hospedada na nuvem do Google, “Google Vertex AI”.

A expansão foca em preencher a “lacuna de visibilidade” que surge quando empresas introduzem rapidamente grandes modelos de linguagem (LLM) em ambientes de serviço reais. As ferramentas de observabilidade existentes são geralmente projetadas para softwares tradicionais que operam de acordo com regras predefinidas, apresentando limitações evidentes ao lidar com sistemas de IA que mudam suas entradas e respostas em tempo real. Assim, equipes de desenvolvimento e operações têm dificuldade em entender quais entradas geraram quais resultados, por que as respostas mudaram, além de identificar onde e quanto os custos estão sendo gerados.

Para resolver esses problemas, a Groundcover aprimorou suas funcionalidades para capturar o contexto completo das interações com LLMs e rastrear o processo de geração de resultados em sistemas de IA cada vez mais complexos e multiestágios. A empresa destaca que sua vantagem central é a rápida aplicação de observabilidade sem necessidade de detecção adicional no ambiente de execução.

Or Benjamin, vice-presidente de produtos da Groundcover, afirmou: “Os clientes frequentemente relatam que as chamadas de LLM estão fora do alcance das equipes de observabilidade operacional. Eles desejam uma abordagem sistemática para entender prompts, respostas e custos. Para atender às demandas de monitoramento de IA em grande escala e de negócios críticos, além das necessidades atuais de observabilidade, desenvolvemos a observabilidade de IA.”, explicou.

Visibilidade no rastreamento de agentes

A mudança mais notável nesta atualização é a “Visibilidade de Rastreamento de Agentes”. Com essa funcionalidade, é possível não apenas visualizar cada chamada de modelo, mas também acompanhar o processo de execução da ferramenta, parâmetros, resultados e o caminho de raciocínio durante o período. Para empresas que operam fluxos de trabalho de IA baseados em agentes com múltiplas etapas, isso facilitará a identificação de problemas e a melhoria de desempenho.

Fortalecimento do gerenciamento de custos

A funcionalidade de gerenciamento de custos também foi aprimorada. A nova função de alocação de custos precisa, que considera o cache de prompts, visa rastrear o custo de tokens a partir de unidades de execução detalhadas. Essa função diferencia tokens de entrada comuns, tokens de criação de cache e tokens de leitura de cache, refletindo com maior precisão a complexa estrutura de cobrança da API do LLM mais recente. Assim, as equipes podem entender melhor os custos reais de execução de agentes ou sessões específicas.

Suporte ao Google Vertex AI

Além disso, foi adicionado suporte ao Google Vertex AI. Agora, empresas que constroem serviços de IA na plataforma Google Cloud podem coletar automaticamente dados de observabilidade relevantes sem necessidade de detecção adicional. A empresa afirma que seu design garante que todos os dados de observabilidade permaneçam no ambiente do cliente, equilibrando segurança e controle de dados.

As funcionalidades de observabilidade de IA da Groundcover estão atualmente sendo implantadas automaticamente de forma geral para todos os clientes. A empresa declarou que demonstrou esses novos recursos na “Google Cloud Next”, realizada de 22 a 24 de abril.

À medida que os serviços de IA avançam do estágio experimental para ambientes de operação real, a “Observabilidade de IA” está ultrapassando o monitoramento simples e se consolidando como uma área central de gestão de qualidade, custos e confiabilidade. Essa expansão de funcionalidades é vista como uma iniciativa para que as empresas operem agentes de IA de forma mais estável, ampliando as bases necessárias.

Notas do TP AI Este resumo foi gerado com base no modelo de linguagem TokenPost.ai. O conteúdo principal pode ter sido omitido ou estar em desacordo com a versão original.