Campos

Cognición y memoria

Mapas cognitivos, binding estructurado y cómo el cerebro compone — aplicado a la cognición artificial.

alcancemapas cognitivos · binding · identidad de por vida
métodoA/B multi-semilla con negativos publicados
salidatareas discriminantes, no rankings
agent tool goal state reward memory
mapa estructurado · entidades ligadas a roles, no plegadas en un embedding plano
Por qué la cognición es un programa científico

Mapas cognitivos como sustrato composicional

Un creciente cuerpo de neurociencia sugiere que la cognición se sustenta en mapas estructurados que ligan entidades a roles y componen a través de dominios. Nuestro programa científico se lo toma en serio: construimos sistemas artificiales que comparten esos principios organizadores, y los evaluamos contra tareas diseñadas para discriminar la composición de la memorización.

la mayoría de los modelos

aplanan entidades, roles y mundos en un solo espacio de embeddings y esperan que una red más profunda vuelva a desenmarañarlos.

nuestra apuesta

los mapas cognitivos tratan entidades, roles y mundos como objetos estructurales separados, y evaluamos contra tareas que penalizan plegarlos en cualquier momento.

Tres ángulos

Donde la ciencia se encuentra con el sistema

C1

Mapas cognitivos

Mapas estructurados como sustrato para la analogía y el contrafáctico, extraídos de la neurociencia y probados contra nuestra propia biblioteca de memoria.

entity role world
premia estructura cognitiva que sustenta la analogía y el contrafáctico penaliza embeddings planos que se parecen al conjunto de entrenamiento
C2

Binding

Cómo se comporta el binding rol-relleno bajo intercambio de roles y evaluación reservada — y qué se desmorona cuando no lo hace.

subject verb object dog chases cat subject verb object cat chases dog same content · roles permuted · the binding must change
premia binding que sobrevive al intercambio de roles y a las combinaciones reservadas penaliza sistemas que pasan IID y fallan bajo permutación
C3

Identidad de por vida

Cómo la memoria a largo plazo consolida sin sobrescribir los mundos anteriores, medido contra controles amnésicos.

retain worlds seen → consolidating amnesiac
premia memoria que consolida los mundos anteriores mientras aprende nuevos penaliza sesgo de recencia disfrazado de aprendizaje continuo
binding bajo permutación

Factorizado por slots frente a nivel de byte, medido

Reservado, multi-semilla. La misma clase de modelo evaluada bajo dos regímenes de binding. Allí donde el sistema tiene slots explícitos, el intercambio de roles y las combinaciones reservadas no son adversariales.

tarea factorizado por slots nivel de byte notas
compositional 0.96 0.14 held-out role-filler combinations · n=5
relational 0.99 0.63 simple subject-verb-object scenes · n=5
role-swap 1.00 0.60 identical content, roles permuted · n=5
naming 1.00 0.00 name-targeted prefix-LM, held-out · n=5

La victoria es el régimen de binding, no la arquitectura. Medimos la misma familia de backbone en ambas columnas para que la comparación aísle la elección estructural.

identidad de por vida

Consolidación, no sobrescritura

Un controlador que consolida retiene cada mundo que ha visto. Un controlador amnésico — mismos datos, mismo cómputo, sin consolidación — pierde los mundos anteriores a medida que llegan otros nuevos.

0.00 0.25 0.50 0.75 1.00 w1 w2 w3 w4 w5 w6 w7 w8 w9 w10 w11 w12 retention across worlds seen consolidating · forgetting +0.00 amnesiac · forgetting +1.00
n=5 semillas · mismos datos, mismo cómputo, la regla de consolidación es el único eje variado.
negativos honestos

Lo que no sobrevivió a un A/B limpio

La apuesta que sobrevive es sobre el objetivo y el binding. Allí donde una tentadora afirmación arquitectónica no lo hace, lo decimos en la página.

negativo

el combate justo sobre la continuidad es un negativo

Bajo un test A/B limpio en el que dos backbones comparten la misma regla de aprendizaje, el sustrato evolutivo no supera a un transformer fuerte en retención de por vida. Lo decimos.

medido · retain 0.66 ± 0.25 vs 0.94 ± 0.03

negativo

el nombrado no está ligado a la arquitectura

Un transformer alcanza una puntuación de nombrado perfecta en el mismo harness. La victoria en el nombrado es el objetivo y la crianza, no el sustrato.

medido · transformer naming = 1.00 held-out

negativo

C > A no es limpio

A lo largo de n=5 semillas, la brecha entre el sustrato evolutivo y la línea base fuerte está bien dentro de las barras de error. Ahí no reclamamos una victoria del sustrato.

medido · gap inside ± 0.24

Una apuesta científica, evaluada con honestidad

Publicamos negativos. Allí donde una afirmación de priors arquitectónicos no sobrevive a un test A/B limpio, lo decimos. La apuesta que sobrevive es sobre el objetivo y el binding, no sobre qué sustrato estampas encima.

transversales

La cognición es el sustrato sobre el que se asienta todo lo demás

Los mismos primitivos de binding y consolidación afloran en nuestros programas de investigación — memoria estructurada, evaluaciones, alineación — y a través de cada sistema de producción de larga duración que entregamos.