认知地图
作为类比与反事实推理底层的结构化地图，取自神经科学，并以我们自有的记忆库加以检验。
场域
认知与记忆
认知地图、结构化绑定，以及大脑的组合方式——应用于人工认知研究。
作为组合式底层的认知地图
越来越多的神经科学研究表明，认知由结构化地图所支撑——这些地图将实体绑定到角色，并跨领域进行组合。我们的科学项目认真对待这一点：我们构建共享这些组织原则的人工系统，并用专门设计来区分组合与记忆的任务来加以评测。
大多数模型
把实体、角色与世界折叠进单一的嵌入空间,并寄望于更深的网络能再次将它们解开。
我们的押注
认知地图将实体、角色与世界视为彼此独立的结构性对象,而我们用那些一旦折叠便会受到惩罚的任务来加以评测。
科学与系统交汇之处
绑定
角色—填充物绑定在角色互换与留出评测下的表现——以及当它失效时会暴露出什么。
终身身份
长期记忆如何在不覆写早期世界的前提下进行巩固，并以遗忘型对照加以衡量。
槽位分解对比字节级,实测对照
留出数据、多种子。同一模型类别在两种绑定机制下接受评测。在系统拥有显式槽位之处,角色互换与留出组合并不构成对抗性挑战。
任务 槽位分解 字节级 备注
compositional held-out role-filler combinations · n=5
relational simple subject-verb-object scenes · n=5
role-swap identical content, roles permuted · n=5
naming name-targeted prefix-LM, held-out · n=5
制胜的是绑定机制,而非架构。我们在两列中评测同一主干家族,从而让对比能够分离出结构性选择本身的影响。
巩固,而非覆写
进行巩固的控制器会保留它见过的每一个世界。一个遗忘型控制器——相同数据、相同算力、不做巩固——会在新世界到来时丢失早期的世界。
什么没能挺过一次干净的 A/B 测试
挺过来的押注落在目标函数与绑定上。当某个诱人的架构性主张没能挺过时,我们会在本页面如实说明。
在连续性上的公平较量是一个负面结果
在两个主干共享同一学习规则的干净 A/B 测试下,发育式底层并未在终身留存上胜过一个强大的 Transformer。我们如实说明。
实测 · retain 0.66 ± 0.25 vs 0.94 ± 0.03
命名并不取决于架构
Transformer 在同一套测试框架上达到了完美的命名得分。命名上的制胜在于目标函数与训练方式,而非底层。
实测 · transformer naming = 1.00 held-out
C > A 并不干净
在 n=5 种子上,发育式与强基线之间的差距远在误差棒之内。我们在那里并不主张底层取胜。
实测 · gap inside ± 0.24
一项科学押注，以诚实的方式评测
我们公布负面结果。当某个架构先验的主张没能挺过一次干净的 A/B 测试时，我们会如实说明。挺过来的押注落在目标函数与绑定上，而非取决于你在其上贴了哪种底层。