Mappe cognitive
Mappe strutturate come substrato per analogia e controfattuale, tratte dalle neuroscienze e testate rispetto alla nostra libreria di memoria.
Campi
Cognizione e memoria
Mappe cognitive, binding strutturato e come il cervello compone: applicato alla cognizione artificiale.
Le mappe cognitive come substrato composizionale
Un crescente corpo di neuroscienze suggerisce che la cognizione sia sostenuta da mappe strutturate che legano le entità ai ruoli e compongono attraverso i domini. Il nostro programma scientifico prende sul serio tutto questo: costruiamo sistemi artificiali che condividono quei principi organizzativi e li valutiamo su compiti progettati per discriminare la composizione dalla memorizzazione.
la maggior parte dei modelli
appiattisce entità, ruoli e mondi in un unico spazio di embedding, sperando che una rete più profonda riesca di nuovo a districarli.
la nostra scommessa
le mappe cognitive trattano entità, ruoli e mondi come oggetti strutturali distinti, e li valutiamo su compiti che ti puniscono ogni volta che li ripieghi.
Dove la scienza incontra il sistema
Binding
Come si comporta il binding ruolo-riempitore sotto scambio di ruoli e valutazione tenuta fuori dal training — e cosa salta fuori quando non lo fa.
Identità per tutta la vita
Come la memoria a lungo termine consolida senza sovrascrivere i mondi precedenti, misurata rispetto a controlli amnesici.
Slot-fattorizzato vs livello-byte, misurato
Tenuto fuori dal training, multi-seme. La stessa classe di modello valutata sotto due regimi di binding. Dove il sistema ha slot espliciti, lo scambio di ruoli e le combinazioni tenute fuori non sono avversari.
compito slot-fattorizzato livello-byte note
compositional held-out role-filler combinations · n=5
relational simple subject-verb-object scenes · n=5
role-swap identical content, roles permuted · n=5
naming name-targeted prefix-LM, held-out · n=5
La vittoria è il regime di binding, non l'architettura. Misuriamo la stessa famiglia di backbone in entrambe le colonne, così il confronto isola la scelta strutturale.
Consolidamento, non sovrascrittura
Un controllore che consolida conserva ogni mondo che ha visto. Un controllore amnesico — stessi dati, stesso calcolo, nessun consolidamento — perde i mondi precedenti man mano che ne arrivano di nuovi.
Cosa non è sopravvissuto a un A/B pulito
La scommessa che sopravvive è sull'obiettivo e sul binding. Dove un'allettante affermazione architetturale non lo fa, lo diciamo sulla pagina.
il confronto leale sulla continuità è un negativo
Sotto un test A/B pulito in cui due backbone condividono la stessa regola di apprendimento, il substrato evolutivo non batte un transformer forte sulla ritenzione per tutta la vita. Lo diciamo.
misurato · retain 0.66 ± 0.25 vs 0.94 ± 0.03
il naming non è vincolato all'architettura
Un transformer raggiunge un punteggio di naming perfetto sullo stesso harness. La vittoria nel naming è l'obiettivo e l'allevamento, non il substrato.
misurato · transformer naming = 1.00 held-out
C > A non è pulito
Su n=5 semi il divario tra il substrato evolutivo e la baseline forte rientra ampiamente nelle barre di errore. Lì non rivendichiamo una vittoria del substrato.
misurato · gap inside ± 0.24
Una scommessa scientifica, valutata onestamente
Pubblichiamo i negativi. Dove un'affermazione basata su priori architetturali non sopravvive a un test A/B pulito, lo diciamo. La scommessa che sopravvive è sull'obiettivo e sul binding, non su quale substrato imprimi sopra.
trasversale
La cognizione è il substrato su cui poggia tutto il resto
Gli stessi primitivi di binding e consolidamento emergono in tutti i nostri programmi di ricerca — memoria strutturata, valutazioni, allineamento — e in ogni sistema di produzione a lunga esecuzione che rilasciamo.