M1
类比
已绑定的结构能在不同领域间清晰地映射,因此类比就是头等的检索操作。
结构化记忆
随结构而非上下文长度扩展的记忆。
类比、反事实与组合绑定——在百万实体规模下的实测验证。
绑定
g ⊗ e → p
据实接地 ⊗ 实体 → 已绑定的感知 · 召回的基本单元
我们所说的结构化记忆是指什么
随结构而非上下文长度扩展的记忆
我们将知识表示为已绑定的结构——据实接地向量与实体向量的乘积——而非扁平的词元流。概念可以组合、分解并重新组合,无需每次都从上下文重新推导。随着集合增长,多跳链路依然可处理,因为检索是对结构的游走,而非对缓冲区的搜索。
绑定带来了什么
三种无需额外代价即可获得的行为
M2
反事实
用于检索类比的同一套机制,可以对绑定重新赋予角色并重新运行,从而评估反事实。
M3
多跳召回
两跳、五跳或十跳的链路都是对结构的游走。代价随结构增长,而非随词元长度增长。
扩展
当 N 增至百万时,P@5 始终保持 1.00
我们在留出的多跳检索任务上测量 precision-at-5。结构化记忆曲线在三个数量级范围内始终保持 1.00;而字节级基线则随集合增长逐步下滑。
结构化记忆 字节级基线(参照)
P@5 1.00
百万条目下的多跳精度
留出集评估,训练与检索之间无泄漏。
+0.36
关系绑定上槽位分解式相对字节级的提升
留出的角色互换测试,多种子。
8 / 8
v0.3.0 中关闭的科学门禁
每一项发布阻断项都是一次实测验证。
槽位 vs 字节
角色互换正是结构化绑定立足之处
「智能体 A 命名目标 B」与「智能体 B 命名目标 A」并非同一命题。槽位分解式绑定守住了角色分配;字节级检索则将其抹平。
命题 槽位分解式 字节级 Δ
"agent A names target B" 1.00 0.63 +0.37
"agent B names target A" (swapped) 1.00 0.60 +0.40
compositional new pair 0.99 0.69 +0.30
角色互换测试,留出集,n = 5 个种子。多种子报告见 [[beyond-transformers]]。
随结构扩展
记忆代价随所存内容的关系结构增长,而非随上下文窗口长度增长。这使得当集合增长至数百万条目时,多跳推理依然可处理。
我们如何评估它
每一项主张都通过留出测试与多种子误差棒来度量。在关键之处,我们在槽位分解式记忆与字节级基线上运行同一任务,使提升可归因,而非凭假设。