M1
Analogie
Les structures liées se transposent proprement d’un domaine à l’autre, de sorte que les analogies sont des récupérations de première classe.
Mémoire structurée
Une mémoire qui passe à l’échelle avec la structure, et non avec la longueur du contexte.
Analogie, contrefactuel, liaison compositionnelle — mesurés à l'échelle du million d'entrées.
liaison
g ⊗ e → p
ancrage ⊗ entité → percept lié · l’unité du rappel
Ce que nous entendons par mémoire structurée
Une mémoire qui passe à l’échelle avec la structure, et non avec la longueur du contexte
Nous représentons les connaissances sous forme de structures liées — des produits de vecteurs d’ancrage et d’entité — plutôt que sous forme de flux de jetons plats. Les concepts se composent, se décomposent et se recombinent sans être re-dérivés du contexte à chaque fois. Les chaînes multi-sauts restent traitables à mesure que les collections grandissent, car la récupération est une marche sur la structure, et non une recherche dans un tampon.
Ce que la liaison nous apporte
Trois comportements que nous obtenons gratuitement
M2
Contrefactuel
La même mécanique qui récupère une analogie peut réattribuer les rôles et rejouer la liaison pour évaluer un contrefactuel.
M3
Rappel multi-sauts
Les chaînes de deux, cinq ou dix sauts sont des marches sur la structure. Le coût croît avec la structure, et non avec la longueur du texte.
Passage à l’échelle
La P@5 reste à 1,00 lorsque N atteint le million
Nous mesurons la précision à 5 sur une tâche de récupération multi-sauts en jeu réservé. La courbe de la mémoire structurée reste à 1,00 sur trois ordres de grandeur ; la base de référence au niveau de l’octet décroche à mesure que la collection grandit.
mémoire structurée base de référence au niveau de l’octet (référence)
P@5 1.00
Précision multi-sauts à un million d’entrées
Évaluation en jeu réservé, sans fuite entre l’entraînement et la récupération.
+0.36
Factorisé par emplacement vs niveau de l’octet sur la liaison relationnelle
Test de permutation de rôles en jeu réservé, multi-graines.
8 / 8
Verrous scientifiques levés dans la v0.3.0
Chaque blocage de version était un test mesuré.
Emplacement vs octet
La permutation de rôles est là où la liaison structurée fait la différence
« L’agent A nomme la cible B » n’est pas la même proposition que « l’agent B nomme la cible A ». La liaison factorisée par emplacement conserve l’attribution des rôles ; la récupération au niveau de l’octet l’aplatit.
énoncé factorisé par emplacement niveau de l’octet Δ
"agent A names target B" 1.00 0.63 +0.37
"agent B names target A" (swapped) 1.00 0.60 +0.40
compositional new pair 0.99 0.69 +0.30
test de permutation de rôles, jeu réservé, n = 5 graines. rapport multi-graines dans [[beyond-transformers]].
Passe à l’échelle avec la structure
Le coût mémoire croît avec la structure relationnelle de ce qui est stocké, et non avec la longueur de la fenêtre de contexte. Cela rend le raisonnement multi-sauts traitable à mesure que les collections atteignent des millions d’entrées.
Comment nous l’évaluons
Chaque affirmation est mesurée avec des tests en jeu réservé et des barres d’erreur multi-graines. Là où cela compte, nous exécutons la même tâche dans une mémoire factorisée par emplacement et dans une base de référence au niveau de l’octet, afin que le gain soit attribuable, et non supposé.