基质 · 积极研究中

架构, 而非更大的模型。

面向后Transformer认知的生物优先计算底层架构。

类别

后Transformer计算基底

灵感来源

皮层微电路、稀疏群体编码

集成对象

Heddle、Mnemo、Penelope

阶段

工作基底,内部基准测试已完成

Stamen 是什么

架构,而非更大的模型

Stamen 的立论前提是:机器认知的下一步不是更多参数,而是不同的基底。我们将表示、组合与召回视为软硬件栈的一等操作,而非注意力机制的涌现副产品。由此产生的是一个工作基底——系统所知晓的内容是结构化的,所计算的内容是局部且能耗感知的,新知识的加入不会覆写旧有知识。

基底原则

组织整个技术栈的四个核心理念

Stamen 立场鲜明。每一层都恪守从皮层神经科学与基底对齐计算中提炼出的少数组织原则。

S1

稀疏群体编码

概念以稀疏、分布式的基底激活模式存在,而非嵌入于密集矩阵中。干扰有界;组合具有几何特性。

S2

局部递归回路

计算被分解为与邻近节点通信的短回路,而非跨全局的长注意力跨度。随着基底扩展,延迟保持平稳。

S3

能耗感知路由

路径调度时显式考虑计算代价。闲置的基底是真正闲置的,因此工作负载随相关性扩展,而非随参数量扩展。

S4

基底原生记忆

记忆是基底的组成部分,而非事后粘合的外部存储。读取、写入与绑定均为原生操作。

不同的形态

密集注意力 vs. 稀疏基底。

Both compute. Only one is organized.

密集注意力

万物互联,无一例外。

Stamen 基底

局部性加稀疏编码。

组合代价

与 token 数量成二次方关系

局限于基底局部

干扰

更新时发生灾难性干扰

由稀疏性有界约束

闲置计算

仍在消耗资源

真正闲置,不耗资源

记忆

外挂式,事后粘合

基底原生操作

延迟增长

随上下文增长

随基底保持平稳

进展历程

Stamen 的演进之路

  1. 01

    第一阶段

    基底概念验证

    基底的首个可工作版本,稀疏群体编码接入可用的表示接口。内部基准测试基线建立。

  2. 02

    第二阶段

    硬件桥接的诚实负结论

    一项拟议的加速器桥接方案在规模化测试中被证伪,对比了高度调优的密集基线。该结论重塑了芯片路线图,并作为已发表的负结论存档。

  3. 03

    第三阶段

    所有门控测试全部完成

    基底级门控测试(包括受控扰动下的严格最大值行为)全部在目标范围内完成。

  4. 04

    第四阶段

    与 Heddle 及 Atelier 组合集成

    Stamen 接入结构化记忆与发育式训练器,在真实数据上完成认知技术栈的首次端到端运行。

Measured

5/5

第三阶段基底门控测试全部完成

Strict-max ceiling contained at 1.32%. Zero outstanding red gates at last review.

1.32%

Strict-max ceiling

0

Outstanding red gates

Stamen 的应用场景

基底之上的下游能力

Stamen 基底
模型

旗舰跨领域推理

Stamen 是我们旗舰 RL-X1 模型系列的计算基底。长视野任务上的推理质量是基底的属性,而非上下文窗口技巧。

记忆

可组合的结构化记忆

Heddle 在 Stamen 原生表示上完成绑定与检索。组合保持可组合性;召回随结构扩展,而非随 token 数量扩展。

芯片

基底对齐的硅芯片

Obsidian 系列芯片围绕 Stamen 所用的相同基础元语进行设计,使芯片物理特性与认知几何结构共享同一组织原则。

“We optimised the substrate the way you would optimise a microcircuit: locality, energy, and structure first. The model is what falls out.”
ReasonLoom research note, internal architecture review

获取渠道

Research · Mnemo bridge

所有技术 →