稀疏群体编码
概念以稀疏、分布式的基底激活模式存在,而非嵌入于密集矩阵中。干扰有界;组合具有几何特性。
基质 · 积极研究中
面向后Transformer认知的生物优先计算底层架构。
Stamen 是什么
Stamen 的立论前提是:机器认知的下一步不是更多参数,而是不同的基底。我们将表示、组合与召回视为软硬件栈的一等操作,而非注意力机制的涌现副产品。由此产生的是一个工作基底——系统所知晓的内容是结构化的,所计算的内容是局部且能耗感知的,新知识的加入不会覆写旧有知识。
基底原则
Stamen 立场鲜明。每一层都恪守从皮层神经科学与基底对齐计算中提炼出的少数组织原则。
概念以稀疏、分布式的基底激活模式存在,而非嵌入于密集矩阵中。干扰有界;组合具有几何特性。
计算被分解为与邻近节点通信的短回路,而非跨全局的长注意力跨度。随着基底扩展,延迟保持平稳。
路径调度时显式考虑计算代价。闲置的基底是真正闲置的,因此工作负载随相关性扩展,而非随参数量扩展。
记忆是基底的组成部分,而非事后粘合的外部存储。读取、写入与绑定均为原生操作。
不同的形态
Both compute. Only one is organized.
组合代价
与 token 数量成二次方关系
局限于基底局部
干扰
更新时发生灾难性干扰
由稀疏性有界约束
闲置计算
仍在消耗资源
真正闲置,不耗资源
记忆
外挂式,事后粘合
基底原生操作
延迟增长
随上下文增长
随基底保持平稳
进展历程
第一阶段
基底的首个可工作版本,稀疏群体编码接入可用的表示接口。内部基准测试基线建立。
第二阶段
一项拟议的加速器桥接方案在规模化测试中被证伪,对比了高度调优的密集基线。该结论重塑了芯片路线图,并作为已发表的负结论存档。
第三阶段
基底级门控测试(包括受控扰动下的严格最大值行为)全部在目标范围内完成。
第四阶段
Stamen 接入结构化记忆与发育式训练器,在真实数据上完成认知技术栈的首次端到端运行。
Measured
5/5
第三阶段基底门控测试全部完成
Strict-max ceiling contained at 1.32%. Zero outstanding red gates at last review.
Stamen 的应用场景
Stamen 是我们旗舰 RL-X1 模型系列的计算基底。长视野任务上的推理质量是基底的属性,而非上下文窗口技巧。
Heddle 在 Stamen 原生表示上完成绑定与检索。组合保持可组合性;召回随结构扩展,而非随 token 数量扩展。
Obsidian 系列芯片围绕 Stamen 所用的相同基础元语进行设计,使芯片物理特性与认知几何结构共享同一组织原则。
“We optimised the substrate the way you would optimise a microcircuit: locality, energy, and structure first. The model is what falls out.”
获取渠道