Champs

Cognition & mémoire

Cartes cognitives, liaison structurée et mécanismes de composition du cerveau — appliqués à la cognition artificielle.

périmètrecartes cognitives · liaison · identité tout au long de la vie
méthodeA/B multi-graines avec négatifs publiés
résultatdes tâches discriminantes, pas des classements
agent tool goal state reward memory
carte structurée · des entités liées à des rôles, et non repliées dans un plongement uniforme
Pourquoi la cognition est un programme scientifique

Les cartes cognitives comme substrat compositionnel

Un corpus croissant de neurosciences suggère que la cognition repose sur des cartes structurées qui lient les entités à des rôles et se composent à travers les domaines. Notre programme scientifique prend cela au sérieux : nous construisons des systèmes artificiels qui partagent ces principes organisateurs, et nous les évaluons sur des tâches conçues pour discriminer la composition de la mémorisation.

la plupart des modèles

aplatissent entités, rôles et mondes dans un seul espace de plongement, en espérant qu’un réseau plus profond les démêlera à nouveau.

notre pari

les cartes cognitives traitent entités, rôles et mondes comme des objets structurels distincts, et nous évaluons sur des tâches qui pénalisent tout repliement de ces objets.

Trois angles

Là où la science rencontre le système

C1

Cartes cognitives

Des cartes structurées comme substrat de l’analogie et du contrefactuel, inspirées des neurosciences et testées sur notre propre bibliothèque de mémoire.

entity role world
récompense une structure cognitive qui soutient l’analogie et le contrefactuel pénalise les plongements uniformes qui ressemblent à l’ensemble d’entraînement
C2

Liaison

Comment la liaison rôle-remplisseur se comporte sous échange de rôles et évaluation réservée — et ce qui s’effondre lorsqu’elle échoue.

subject verb object dog chases cat subject verb object cat chases dog same content · roles permuted · the binding must change
récompense une liaison qui survit à l’échange de rôles et aux combinaisons réservées pénalise les systèmes qui réussissent en IID et échouent sous permutation
C3

Identité tout au long de la vie

Comment la mémoire à long terme se consolide sans écraser les mondes antérieurs, mesurée face à des contrôles amnésiques.

retain worlds seen → consolidating amnesiac
récompense une mémoire qui consolide les mondes antérieurs tout en en apprenant de nouveaux pénalise un biais de récence déguisé en apprentissage continu
liaison sous permutation

Factorisé par emplacements vs au niveau octet, mesuré

Réservé, multi-graines. La même classe de modèle évaluée sous deux régimes de liaison. Là où le système dispose d’emplacements explicites, l’échange de rôles et les combinaisons réservées ne sont pas adverses.

tâche factorisé par emplacements niveau octet notes
compositional 0.96 0.14 held-out role-filler combinations · n=5
relational 0.99 0.63 simple subject-verb-object scenes · n=5
role-swap 1.00 0.60 identical content, roles permuted · n=5
naming 1.00 0.00 name-targeted prefix-LM, held-out · n=5

Le gain tient au régime de liaison, pas à l’architecture. Nous mesurons la même famille de backbone dans les deux colonnes afin que la comparaison isole le choix structurel.

identité tout au long de la vie

Consolidation, pas écrasement

Un contrôleur qui consolide conserve chaque monde qu’il a rencontré. Un contrôleur amnésique — mêmes données, même calcul, sans consolidation — perd les mondes antérieurs à mesure que de nouveaux arrivent.

0.00 0.25 0.50 0.75 1.00 w1 w2 w3 w4 w5 w6 w7 w8 w9 w10 w11 w12 retention across worlds seen consolidating · forgetting +0.00 amnesiac · forgetting +1.00
n=5 graines · mêmes données, même calcul, la règle de consolidation est le seul axe varié.
négatifs honnêtes

Ce qui n’a pas survécu à un A/B propre

Le pari qui survit porte sur l’objectif et la liaison. Là où une affirmation architecturale séduisante ne survit pas, nous le disons sur la page.

négatif

le combat équitable sur la continuité est un négatif

Sous un test A/B propre où deux backbones partagent la même règle d’apprentissage, le substrat développemental ne bat pas un transformeur robuste sur la rétention tout au long de la vie. Nous le disons.

mesuré · retain 0.66 ± 0.25 vs 0.94 ± 0.03

négatif

la dénomination n’est pas liée à l’architecture

Un transformeur atteint un score de dénomination parfait sur le même harnais. Le gain en dénomination tient à l’objectif et à l’élevage, pas au substrat.

mesuré · transformer naming = 1.00 held-out

négatif

C > A n’est pas net

Sur n=5 graines, l’écart entre le substrat développemental et la base robuste reste bien à l’intérieur des barres d’erreur. Nous ne revendiquons pas de gain de substrat ici.

mesuré · gap inside ± 0.24

Un pari scientifique, évalué honnêtement

Nous publions les négatifs. Là où une affirmation fondée sur des a priori architecturaux ne survit pas à un test A/B propre, nous le disons. Le pari qui survit porte sur l’objectif et la liaison, et non sur le substrat que l’on appose par-dessus.

transversal

La cognition est le substrat sur lequel tout le reste repose

Les mêmes primitives de liaison et de consolidation réapparaissent dans nos programmes de recherche — mémoire structurée, évaluations, alignement — et dans chaque système de production de longue durée que nous livrons.