A mais recente pesquisa do Google descobriu uma coisa interessante: os modelos Transformer não simplesmente memorizam tudo, mas constroem um mapa de conhecimento dentro da matriz de pesos, entrelaçando as relações entre vários conceitos.

Parece tecnologia de ponta, não é? E o mais impressionante — em tarefas adversas, esses modelos ainda conseguem aprender raciocínio de múltiplos passos. Os pesquisadores testaram com um gráfico de 50.000 nós e caminhos de 10 saltos, e a precisão do modelo na previsão de caminhos nunca vistos atingiu surpreendentemente 100%. O que isso significa? Significa que eles não dependem apenas de memorização, mas realmente entenderam essa rede de relações.

Essa descoberta desafia muitas das nossas ideias pré-concebidas sobre o armazenamento de conhecimento em IA. Se o modelo realmente codifica implicitamente relações globais, isso pode tanto estimular seu potencial criativo quanto tornar mais difícil editar e controlar o conhecimento. Em outras palavras, precisamos repensar como gerenciar e otimizar esse "mapa de conhecimento" por trás desses modelos.