Mapas cognitivos
Mapas estruturados como substrato para a analogia e o contrafactual, extraídos da neurociência e testados face à nossa própria biblioteca de memória.
Campos
Cognição e memória
Mapas cognitivos, ligação estruturada e como o cérebro compõe — aplicado à cognição artificial.
Mapas cognitivos como substrato composicional
Um corpo crescente de neurociência sugere que a cognição é sustentada por mapas estruturados que ligam entidades a papéis e compõem ao longo de domínios. O nosso programa de ciência leva isto a sério: construímos sistemas artificiais que partilham esses princípios organizadores e avaliamo-los com tarefas concebidas para discriminar a composição da memorização.
a maioria dos modelos
achata entidades, papéis e mundos num único espaço de embedding e espera que uma rede mais profunda os volte a separar.
a nossa aposta
os mapas cognitivos tratam entidades, papéis e mundos como objetos estruturais distintos, e avaliamos com tarefas que penalizam qualquer tentativa de os dobrar.
Onde a ciência encontra o sistema
Ligação
Como a ligação papel-preenchedor se comporta sob troca de papéis e avaliação reservada — e o que se desmorona quando não se comporta.
Identidade ao longo da vida
Como a memória de longo prazo consolida sem sobrepor mundos anteriores, medida face a controlos amnésicos.
Fatorado por slots vs. ao nível do byte, medido
Reservado, multi-semente. A mesma classe de modelo avaliada sob dois regimes de ligação. Onde o sistema tem slots explícitos, a troca de papéis e as combinações reservadas não são adversariais.
tarefa fatorado por slots ao nível do byte notas
compositional held-out role-filler combinations · n=5
relational simple subject-verb-object scenes · n=5
role-swap identical content, roles permuted · n=5
naming name-targeted prefix-LM, held-out · n=5
A vantagem está no regime de ligação, não na arquitetura. Medimos a mesma família de backbone em ambas as colunas, para que a comparação isole a escolha estrutural.
Consolidação, não sobreposição
Um controlador que consolida retém todos os mundos que viu. Um controlador amnésico — mesmos dados, mesma computação, sem consolidação — perde os mundos anteriores à medida que chegam novos.
O que não sobreviveu a um A/B limpo
A aposta que sobrevive é no objetivo e na ligação. Onde uma alegação arquitetural tentadora não sobrevive, dizemo-lo na página.
a luta justa na continuidade é um negativo
Sob um teste A/B limpo em que dois backbones partilham a mesma regra de aprendizagem, o substrato de desenvolvimento não bate um transformer forte na retenção ao longo da vida. Dizemo-lo.
medido · retain 0.66 ± 0.25 vs 0.94 ± 0.03
a nomeação não está ligada à arquitetura
Um transformer atinge uma pontuação de nomeação perfeita no mesmo harness. A vantagem na nomeação está no objetivo e na criação, não no substrato.
medido · transformer naming = 1.00 held-out
C > A não é limpo
Ao longo de n=5 sementes, a diferença entre o substrato de desenvolvimento e a baseline forte está bem dentro das barras de erro. Não reivindicamos aí uma vantagem do substrato.
medido · gap inside ± 0.24
Uma aposta científica, avaliada com honestidade
Publicamos negativos. Onde uma alegação de priores arquiteturais não sobrevive a um teste A/B limpo, dizemo-lo. A aposta que sobrevive é no objetivo e na ligação, não em que substrato se carimba por cima.
transversais
A cognição é o substrato sobre o qual tudo o resto assenta
As mesmas primitivas de ligação e consolidação surgem ao longo dos nossos programas de investigação — memória estruturada, avaliações, alinhamento — e em todos os sistemas de produção de longa duração que entregamos.