M1
Analogia
As estruturas ligadas mapeiam-se de forma limpa entre domínios, pelo que as analogias são evocações de primeira classe.
Memória estruturada
Memória que escala com a estrutura, não com o comprimento do contexto.
Analogia, contrafactual, ligação composicional — medida à escala de um milhão de entradas.
ligação
g ⊗ e → p
fundamentação ⊗ entidade → percepto ligado · a unidade de evocação
O que entendemos por memória estruturada
Memória que escala com a estrutura, não com o comprimento do contexto
Representamos o conhecimento como estruturas ligadas — produtos de vetores de fundamentação e de entidade — em vez de fluxos planos de tokens. Os conceitos compõem-se, decompõem-se e recombinam-se sem serem re-derivados do contexto de cada vez. As cadeias multi-salto mantêm-se tratáveis à medida que as coleções crescem porque a evocação é um percurso sobre a estrutura, não uma busca sobre um buffer.
O que a ligação nos dá
Três comportamentos que obtemos de graça
M2
Contrafactual
O mesmo maquinismo que evoca uma analogia pode re-atribuir papéis e reexecutar a ligação para avaliar um contrafactual.
M3
Evocação multi-salto
Cadeias de dois, cinco ou dez saltos são percursos sobre a estrutura. O custo cresce com a estrutura, não com o comprimento em tokens.
Escalar
A P@5 mantém-se em 1,00 à medida que N chega a um milhão
Medimos a precisão-em-5 numa tarefa de evocação multi-salto reservada. A linha da memória estruturada mantém-se em 1,00 ao longo de três ordens de grandeza; a baseline ao nível do byte desce à medida que a coleção cresce.
memória estruturada baseline ao nível do byte (referência)
P@5 1,00
Precisão multi-salto a um milhão de entradas
Avaliação reservada, sem fuga entre treino e evocação.
+0,36
Fatorizado por slots sobre ao nível do byte em ligação relacional
Teste de troca de papéis reservado, multi-semente.
8 / 8
Portões científicos fechados na v0.3.0
Cada bloqueador de lançamento foi um teste medido.
Slot vs byte
A troca de papéis é onde a ligação estruturada justifica o seu lugar
“O agente A nomeia o alvo B” não é a mesma proposição que “o agente B nomeia o alvo A”. A ligação fatorizada por slots mantém a atribuição de papéis; a evocação ao nível do byte achata-a.
afirmação fatorizado por slots ao nível do byte Δ
"agent A names target B" 1.00 0.63 +0.37
"agent B names target A" (swapped) 1.00 0.60 +0.40
compositional new pair 0.99 0.69 +0.30
teste de troca de papéis, reservado, n = 5 sementes. relatório multi-semente em [[beyond-transformers]].
Escala com a estrutura
O custo da memória cresce com a estrutura relacional do que está armazenado, não com o comprimento da janela de contexto. Isso torna o raciocínio multi-salto tratável à medida que as coleções crescem até aos milhões de entradas.
Como o avaliamos
Cada afirmação é medida com testes reservados e barras de erro multi-semente. Onde importa, executamos a mesma tarefa numa memória fatorizada por slots e numa baseline ao nível do byte para que o ganho seja atribuível, não assumido.