研究领域 · 研究计划 · 4条主线 · rev. 2026-05

超越Transformer

一项研究押注——把否定性结论与成果摆在同一页上。

以生物为优先的计算底层与原生认知基底——包括研究中的否定性结论。

引用

ReasonLoom Research · 超越Transformer · 内部记录,2026年。

为何重要

对进步源自何处的一种不同押注

过去十年间,主流押注一直是「扩展注意力」。我们的研究押注则不同:下一步在于一种不同的底层,它围绕稀疏的群体编码、局部递归与能耗感知的路由而构建。我们端到端地推进这一押注——底层、记忆、训练循环、硅芯片——并将证伪结论与成果一同发表。

工作主线

构成这一押注的四条主线

ReasonLoom的超越Transformer研究并非一篇论文,而是四个并行且彼此汇聚的项目。

底层

把稀疏、局部递归、能耗感知的计算作为一等的研究目标。

记忆

以结构化绑定替代上下文窗口。

训练器

一个为产物提供根基的发育式循环,中间嵌入一个有类型的验证器。

硅芯片

其版图与底层所用几何结构相一致的芯片。

我们在内部已发表的证伪结论

哪些没能奏效,又给了我们什么启示

诚实的否定性结论是一种竞争优势。下列每一条都是我们自己跑出、并选择留存在案的证伪结论。

N1

否定性结论 1

已证伪 · 已发表

硬件桥接在规模下被证伪

在百万条目量级上,一个所提出的计算桥接被一个精心调校的稠密基线超越。这一否定性结论重塑了硅芯片路线图。

多种子 留出集 已从路线图中撤下

N2

否定性结论 2

已证伪 · 已发表

架构先验主张被证伪

一项针对强Transformer基线的干净A/B测试表明:我们的后Transformer架构本身在命名或连续性上都无法胜出。鲁棒的价值来自训练目标与结构化记忆绑定,而非架构本身。

多种子 留出集 已从路线图中撤下

N3

否定性结论 3

已证伪 · 已发表

蒸馏捷径退化为查表

一条在早期测试中看似诱人的蒸馏路径,在留出评估下退化为一张记忆表。我们将其作为范式级的警示加以发表。

多种子 留出集 已从路线图中撤下

多种子的诚实

在误差棒下仍然成立的结论

每一项主张都配有跨种子的方差。单一种子上的胜出不算结果——跨五个种子的胜出才算,而非胜出的结果也以同样方式如实报告。

维度 数值 ± 种子 n 状态
Lifelong retain-advantage +0.65 ±0.02 5 survives
CLS sample efficiency 1.90× ±0.14 5 survives
Slot 2-factor lift +0.82 ±0.08 5 survives
Imprevisto recovery +0.13 ±0.09 5 survives · soft
Arch-on-naming win 0.00 ±0.00 5 retired
Arch-on-continuity win −0.28 ±0.27 5 retired
01

我们为何发表那些没能奏效的内容

诚实的否定性结论是一种竞争优势。该领域大多数超越Transformer的主张都经不起受控评估;我们的主张都在强基线下接受检验,要么成立,要么被撤下。我们之所以两种结果都发表,是因为当死胡同被记录在案时,整个领域会推进得更快。

02

仍然成立的内容

结构化记忆作为上下文窗口的替代方案而胜出。发育式养育循环作为一种训练方法而胜出。多种子实测将这二者与那些未能成立的架构先验区分开来。