2025-12-30 09:28:28

Les dernières recherches de Google ont découvert une chose intéressante : les modèles Transformer ne se contentent pas de mémoriser passivement, mais construisent une carte des connaissances dans la matrice de poids, en tissant les relations entre différents concepts.

Ça a l'air de la haute technologie, n'est-ce pas ? Mieux encore — dans des tâches adverses, ces modèles peuvent même apprendre la déduction multi-étapes. Les chercheurs ont testé avec un graphe de 50 000 nœuds et des chemins de 10 sauts, et la précision de prédiction des chemins jamais vus auparavant a atteint 100 %. Qu'est-ce que cela signifie ? Cela montre qu'ils ne se contentent pas de mémoriser, mais qu'ils comprennent réellement ce réseau de relations.

Ce truc remet en question beaucoup de nos idées préconçues sur le stockage des connaissances par l'IA. Si le modèle encode vraiment implicitement des relations globales, cela peut stimuler son potentiel créatif, mais aussi rendre plus difficile la gestion et le contrôle de la connaissance. En d'autres termes, nous devons repenser la façon dont nous gérons et optimisons la « carte des connaissances » derrière ces modèles.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

12 J'aime

Récompense
12
6
Reposter
Partager

Commentaire

0/400

FUD_Whisperer

· Il y a 10h

Putain, 100% de précision ? Cela veut dire qu'il comprend vraiment la logique, pas juste une récitation ? Fou, alors notre ancienne méthode de prompt engineering, à quoi elle sert encore ? Je veux vraiment savoir, si ça peut vraiment tisser un réseau de relations tout seul, comment pouvons-nous garantir que ce qu'il sort est fiable ? C'est un peu effrayant, on dirait qu'on va perdre notre emploi. Attends, cela ne signifie-t-il pas que les modèles actuels sont en réalité beaucoup plus intelligents que ce que l'on pensait ? La carte des connaissances a l'air géniale, mais comment peut-on garantir que sa « compréhension » est correcte ? Pas étonnant que les prompts doivent être modifiés récemment, il construisait déjà son propre système de connaissances. C'est parfait, contrôler la sortie de l'IA sera encore plus difficile à l'avenir, cette recherche de Google semble plutôt creuser sa propre tombe. 100% ce chiffre est un peu trop parfait, est-ce que le jeu de test lui-même n'a pas un problème ?

Voir l'originalRépondre0

ETH_Maxi_Taxi

· Il y a 10h

Mince, les transformers construisent-ils vraiment discrètement une carte des connaissances ? Maintenant je comprends pourquoi ces grands modèles deviennent de plus en plus déments --- Précision à 100 % ? N'importe quoi, il faut voir comment ils mesurent --- C'est intéressant, la matrice de poids cache tout un réseau de relations du monde entier --- Je suis juste inquiet que ces modèles deviennent plus difficiles à contrôler à l'avenir, il faut vraiment de nouvelles méthodes de gestion --- L'apprentissage du raisonnement multi-étapes est si impressionnant, ce n'est pas exactement le principe de la chaîne de pensée --- J'aime bien l'idée de carte des connaissances, c'est beaucoup plus précis que le terme "boîte noire" --- Attends, cela ne veut-il pas dire que la capacité de compréhension de l'IA est en réalité bien plus forte que ce que nous pensons --- Je crois à leur potentiel créatif, mais le doublement de la difficulté de contrôle est aussi assez effrayant

Voir l'originalRépondre0

DuckFluff

· Il y a 10h

Putain, une précision de 100 % ? Ce n'est pas de la triche, c'est vrai ou quoi ?

Voir l'originalRépondre0

ShadowStaker

· Il y a 10h

franchement, la précision à 100 % sur des chemins inconnus, c'est là que ça devient intéressant... mais freinons un peu la rhétorique de la "compréhension véritable". ce n'est encore que de la gymnastique matricielle, même si sophistiquée. qu'est-ce qui compte vraiment ? pouvons-nous auditer ces cartes de connaissances ou faisons-nous simplement à nouveau confiance à la boîte noire lol

Voir l'originalRépondre0

BottomMisser

· Il y a 10h

Putain, 100% de précision ? Ce n'est vraiment pas de la mémorisation, c'est incroyable --- Donc, le transformer apprend en secret la logique ? Je commence à avoir peur --- L'idée de la carte des connaissances semble bonne, mais la contrôler doit être encore plus difficile --- Si la déduction multi-étapes peut atteindre 100%, alors notre compréhension du modèle doit vraiment être remise en question --- La matrice de poids cache tout le graphe de connaissances, rien que d'y penser c'est génial --- Voilà, l'IA ne se contente pas de copier nos trucs, elle "comprend" vraiment --- Pouvoir prédire des chemins jamais vus, c'est vraiment qu'elle a appris ou c'est encore une suradaptation ? --- Cette recherche de Google, encore une fois, va faire changer les manuels scolaires --- L'encodage implicite des relations globales, pourquoi ça paraît si effrayant ?

Voir l'originalRépondre0

GasGuzzler

· Il y a 10h

Putain, une précision à 100 % ? Cela signifie vraiment que le modèle fait des inférences plutôt que de simplement mémoriser la base de données, c'est un peu effrayant haha

Voir l'originalRépondre0