S1
スパース集団コード
概念は密な行列内の埋め込みとしてではなく、サブストレート上のスパースな分散活動として存在します。干渉は有界であり、構成は幾何学的です。
基盤 · 研究中
アーキテクチャ、 より大きなモデルではない。
ポスト・トランスフォーマー認知のための、生物学を基盤とした計算基板です。
Stamen とは
アーキテクチャ、より大きなモデルではない
Stamen は、機械認知の次のステップはパラメーター数の増加ではなく、異なるサブストレートにあるという前提のもとに構築されています。私たちは、表現・構成・リコールをアテンションの創発的な副作用としてではなく、ハードウェアとソフトウェアのスタックにおけるファーストクラスの操作として扱います。その結果として、システムが知ることは構造化され、計算は局所的かつエネルギー効率が高く、古い知識を書き換えることなく新しい知識を追加できる動作するサブストレートが生まれます。
サブストレートの原則
スタックを組織する4つのアイデア
Stamen は独自の信念を持っています。すべての層は、皮質神経科学とサブストレート整合計算から引き出された、小さな組織原則の集合にコミットしています。
S2
局所反復ループ
計算はすべてに対する長いアテンションスパンではなく、隣接ノードと通信する短いループに分解されます。サブストレートが成長してもレイテンシは一定に保たれます。
S3
エネルギー認識ルーティング
経路は計算コストを明示的に考慮してスケジューリングされます。非アクティブなサブストレートは真に非アクティブであり、ワークロードはパラメーター数ではなく関連性に応じてスケールします。
S4
サブストレートネイティブメモリ
メモリは後付けで接続された外部ストアではなく、サブストレートの一部です。読み取り、書き込み、バインドはネイティブ操作です。
異なる形状
密なアテンションとスパースなサブストレート。
Both compute. Only one is organized.
すべてがすべてと対話する。
局所性とスパースコード。
構成コスト
トークン数に対して二乗的
サブストレート内で局所的
干渉
更新時に壊滅的
スパース性によって有界
非アクティブな計算
それでもコストを払う
真に非アクティブ
メモリ
外部に付け足したもの
サブストレートネイティブな操作
レイテンシの増加
コンテキストとともに増加
サブストレートで一定
進捗
Stamen がここに至るまで
- 01
フェーズ1
サブストレートの概念実証
スパース集団コードを使用可能な表現インターフェースに組み込んだ、サブストレートの最初の動作バージョンです。内部ベンチマークが確立されました。
- 02
フェーズ2
ハードウェアブリッジにおける誠実な否定的結果
提案されたアクセラレーターブリッジは、高度に調整された密なベースラインに対してスケールで反証されました。この結果はシリコンロードマップを再構築し、公開された否定的結果として文書化されています。
- 03
フェーズ3
すべてのゲートテストが完了
制御された摂動下での厳密最大値動作を含む、サブストレートレベルのゲートテストがすべて目標範囲内で完了しました。
- 04
フェーズ4
Heddle および Atelier との統合
Stamen が構造化メモリおよび発達トレーナーと組み合わされ、実データ上での認知スタックのエンドツーエンド初回実行が実現しました。
Measured
5/5
フェーズ3のサブストレート・ゲートテストが完了
Strict-max ceiling contained at 1.32%. Zero outstanding red gates at last review.
Stamen の活用領域
サブストレートの下流
Stamen サブストレート
フラッグシップのクロスドメイン推論
Stamen は、フラッグシップの RL-X1 モデルラインの基盤となる計算サブストレートです。長期タスクにおける推論品質はサブストレートの特性であり、コンテキストウィンドウの工夫ではありません。
構成可能な構造化メモリ
Heddle は Stamen ネイティブな表現上でバインドおよび検索を行います。構成は構成的なままであり、リコールはトークン数ではなく構造に応じてスケールします。
サブストレート整合シリコン
Obsidian の各世代は Stamen が使用するのと同じプリミティブを基に設計されており、チップの物理特性と認知のジオメトリが共通の組織原理を共有しています。
“We optimised the substrate the way you would optimise a microcircuit: locality, energy, and structure first. The model is what falls out.”
関連リサーチ
Stamen を支える研究。
利用可能な経路