Uma arquitetura num eixo contínuo, criada sobre a stack.
Explorar LoominumEmpresa
Investigação
Ciência
Sobre
Substrato · Investigação ativa
Memória estruturada pós-linguagem com ligação composicional.
grounding × entity. The bind is the unit.
O que é o Heddle
O Heddle trata a memória como um objeto estruturado, não como um fluxo de tokens. Cada unidade de conhecimento é um produto vinculado do que uma coisa é e do papel que está a desempenhar, para que a mesma representação possa ser re-vinculada, re-associada e re-consultada sem ser re-derivada. As cadeias multi-salto e os contrafactuais tornam-se operações sobre a estrutura, não jogos de linguagem sobre um buffer.
Categoria
Memória estruturada pós-linguagem
Primitivo
Vetores enraizamento × entidade vinculados
Ideal para
Analogia, contrafactual, raciocínio multi-salto
Fase
Benchmarks multi-salto concluídos à escala
Como compõe
O Heddle mantém a superfície propositadamente pequena. Três primitivos suportam toda a biblioteca de comportamentos que nos importam.
bind(g, e) → p
Os conceitos são armazenados como produtos de um tensor de enraizamento e um tensor de entidade. A ligação é a menor unidade de memória estruturada — e a unidade que sobrevive ao transporte entre tarefas.
swap(p, r′) → p′
As ligações podem ser re-associadas sem perder identidade. "O cão persegue o gato" e "o gato persegue o cão" são estruturas diferentes, não paráfrases diferentes da mesma.
walk(p, k) → ...
A recuperação é uma travessia sobre a estrutura, não uma pesquisa sobre uma janela. Cadeias de dois, cinco ou dez saltos mantêm-se tratáveis porque o custo cresce com a estrutura, não com o comprimento em tokens.
Um exemplo trabalhado
As mesmas entidades, duas ligações diferentes, duas estruturas genuinamente distintas — não duas perspetivas da mesma.
estrutura A
estrutura B
A e B são recuperados como coisas diferentes. Na troca de papéis em dados retidos, a ligação de posições mantém-se em 1.00; as abordagens ao nível de bytes colapsam para 0.60.
Medido
P@5 across three index sizes. Held-out evaluation, no leakage between training and retrieval.
N = 50k
50,000 entradas
N = 200k
200,000 entradas
N = 1M
1,000,000 entradas
Closing the prior −12.5 pp gap left by the attention-style baseline at the same scale.
Progresso
A ligação enraizamento × entidade foi integrada como um primitivo de primeira classe na base de código, com uma API limpa de leitura/escrita/troca-de-papéis.
A recuperação multi-salto foi avaliada face a linhas de base no estilo transformer nas marcas de 50 000 e 200 000 entradas. O Heddle mantém-se preciso onde a atenção dispersa.
Todos os testes de gating científico para v0.3 concluídos, incluindo troca de papéis em dados retidos e multi-salto adversarial. Lançado como biblioteca dentro da pilha principal.
A evocação multi-salto foi medida na marca de um milhão de entradas com a pontuação de recuperação de topo a saturar o seu máximo. A diferença face às linhas de base baseadas em atenção na mesma tarefa é positiva em todas as escalas.
O que o Heddle desbloqueia
As ligações podem ser re-associadas para avaliar "e se" sem re-prompting. A estrutura que suporta a analogia é a mesma que suporta o contrafactual.
Os agentes que precisam de recordar conversas, planos e restrições ao longo de dias ou semanas guardam essa memória como estrutura, não como contexto em constante crescimento.
O Heddle escala com a complexidade relacional de um domínio, não com o comprimento da sua literatura. As consultas científicas multi-salto mantêm-se tratáveis.
Heddle is what you build when you stop pretending a context window is memory.
Investigação relacionada
Disponível através de
