M1
Analogia
Le strutture vincolate si mappano con pulizia tra domini, così le analogie sono retrieval di prima classe.
Memoria strutturata
Una memoria che scala con la struttura, non con la lunghezza del contesto.
Analogia, controfattuale, binding composizionale: misurati a un milione di entità.
binding
g ⊗ e → p
grounding ⊗ entità → percetto vincolato · l'unità del richiamo
Cosa intendiamo per memoria strutturata
Una memoria che scala con la struttura, non con la lunghezza del contesto
Rappresentiamo la conoscenza come strutture vincolate — prodotti di vettori di grounding e di entità — anziché come flussi piatti di token. I concetti si compongono, si scompongono e si ricombinano senza essere ri-derivati dal contesto ogni volta. Le catene multi-hop restano trattabili al crescere delle collezioni perché il retrieval è un percorso sulla struttura, non una ricerca su un buffer.
Cosa ci offre il binding
Tre comportamenti che otteniamo gratuitamente
M2
Controfattuale
Lo stesso meccanismo che recupera un'analogia può ri-assegnare i ruoli e ri-eseguire il binding per valutare un controfattuale.
M3
Richiamo multi-hop
Catene di due, cinque o dieci hop sono percorsi sulla struttura. Il costo cresce con la struttura, non con la lunghezza in token.
Scalabilità
P@5 resta a 1.00 mentre N raggiunge il milione
Misuriamo la precision-at-5 su un compito di retrieval multi-hop held-out. La linea della memoria strutturata resta a 1.00 su tre ordini di grandezza; la baseline a livello di byte deriva verso il basso al crescere della collezione.
memoria strutturata baseline a livello di byte (riferimento)
P@5 1.00
Precisione multi-hop a un milione di entità
Valutazione held-out, nessuna fuga tra training e retrieval.
+0.36
Fattorizzato per slot rispetto al livello di byte nel binding relazionale
Test di scambio di ruolo held-out, multi-seed.
8 / 8
Gate scientifici chiusi nella v0.3.0
Ogni blocco di rilascio era un test misurato.
Slot vs byte
Lo scambio di ruolo è dove il binding strutturato conquista il suo posto
“L'agente A nomina il target B” non è la stessa proposizione di “l'agente B nomina il target A”. Il binding fattorizzato per slot conserva l'assegnazione dei ruoli; il retrieval a livello di byte la appiattisce.
enunciato fattorizzato per slot a livello di byte Δ
"agent A names target B" 1.00 0.63 +0.37
"agent B names target A" (swapped) 1.00 0.60 +0.40
compositional new pair 0.99 0.69 +0.30
test di scambio di ruolo, held-out, n = 5 seed. report multi-seed in [[beyond-transformers]].
Scala con la struttura
Il costo della memoria cresce con la struttura relazionale di ciò che è memorizzato, non con la lunghezza della finestra di contesto. Questo rende trattabile il ragionamento multi-hop quando le collezioni crescono fino a milioni di entità.
Come la valutiamo
Ogni affermazione è misurata con test held-out e barre d'errore multi-seed. Dove conta, eseguiamo lo stesso compito in una memoria fattorizzata per slot e in una baseline a livello di byte, così il guadagno è attribuibile, non presunto.