1
連続的な軸
モデル · 研究プレビュー
ほとんどのモデルはアーキテクチャを選ぶ。
このモデルは、その上を移動する。
完全な記憶から鋭い注意まで、1つのアーキテクチャが連続軸上で入力ごとに調整されます。
2
融合された座標
0.000
端点の一致
カテゴリー
統合デュアルアクシス · 第1世代
アーキテクチャ
学習可能な座標——固定された設計ではありません
包含モデル
MarrowとLoomを正確なエンドポイントとして内包
育成手法
Atelier 発達ループ
Loominum 1 とは
アーキテクチャはモデルが移動できる座標である
Loominumは一つのアイデアを基盤としています。アーキテクチャの選択は、トレーニング前に一度だけ行って固定すべきものではありません。その支配的な読み出しは単一の減衰座標を持ちます。一方の極端では、高速重み想起ルールとまったく同一です——Marrow、完全なメモリ。座標が大きくなるにつれ、散逸的な連続時間フィールドへと変化します——Loom、最近のシグナルを重視し、古いものをフェードアウトさせます。2番目の座標はアテンションの鋭さを制御します。ソフトなぼかしから単一の鋭い選択まで対応します。モデルはその空間全体にわたり、タスクに対して適切な位置に着地できることが利点です——事前に推測するのではなく。
測定値
形容詞ではなく、数値
接地され、シードで平均化され、再現可能です。この軸は主張ではなく、証明されています。
0 → 94%
オープン語彙命名、ゼロから
概念ごとに約300のグラウンド化された事例から。未訓練の新鮮なモデルは0%を記録します——記憶しているのではなく、学習しています。
+0.044
最良の単一軸に対するデュアルアクシス融合の優位性
融合ヘッドは5シード全体で最強の単一座標の0.90に対して0.94に達します。
exact
エンドポイントが既知のアーキテクチャと一致
軸の極限において、高速重みとプーリングルールを数値ゼロ内で再現します（パリティ 0.000e+00）。
仕組み
3つの構造的なアイデア
Loominumはより大きなトランスフォーマーでも、外部ルーターでもありません。多態性は方程式の内部に存在します。
C1
1つの軸、多数のアーキテクチャ
フィールド読み出しは単一の減衰座標を持ちます。一端では高速重み想起ルールをビット単位で再現し、もう一端では連続時間散逸フィールドとなります。同一の方程式を移動させる——2つのモデルを結合したものではありません。
C2
2つの座標、融合
2番目の座標はアテンションの鋭さを制御します。ソフトな平均化からニアアルクマックス選択まで対応します。2つの読み出しが1つのヘッドに融合されます——一方が安定性を、もう一方が選択性を担い、組み合わせるとどちらか単体より優れた結果を出します。
C3
フィットではなく、育てられた
Atelierはグラウンド化されたエピソードによってLoominumを育てます。概念ごとに数百の事例から世界を命名することを学び、学んだことは高速メモリをクリアしても保持されます——ルックアップテーブルではなく、統合された知識です。
形容詞ではなく、証拠を
なぜ私たちは平然とこう言い切れるのか
連続的な軸は、口にするのは易しく、裏づけるのは難しい主張です。それを支えるものを以下に示します。
端点は正確である
座標を一方の端まで滑らせると、モデルはファストウェイトの想起則をビット単位で再現し、もう一方へ滑らせると、散逸的な連続時間フィールドになります。端点は既知の設計と数値ゼロまで一致します——近似ではなく、正確に。
融合は単独のいずれをも上回る
2つの座標は1つのヘッドに融合します——一方が安定性を、もう一方が選択性をもたらします。融合モデルは、平均だけでなく、実行したすべてのシードで最強の単一座標を上回ります。
参照ではなく、学習されたもの
モデルの高速メモリを消去しても、その設定では一度も見たことのない、ノイズを含む保留インスタンスを依然として名づけます。学んだものは持続的な構造へと統合されました——ルックアップテーブルにはできないことです。
蒸留ではなく、育てられたもの
Atelier は、より大きなモデルのテキストを写すのではなく、接地されたエピソードで Loominum を育てます——概念ごとにわずかな数の例と、睡眠のような統合によって。その知識を自ら勝ち取るのです。
Loominumの適用領域
モデルの棚の代わりに1つのモデルを
アーキテクチャ間のダイヤル
トレーニング前に1つの設計にコミットするのではなく、軸に沿って移動し、タスクが実際にどこに位置したいかを測定します。アーキテクチャは推測するものではなく、チューニングするものになります。
入力ごとの適応
Loominumはシグナルの形状から自身の想起座標を推定できます——入力の要求に応じてメモリか直近性に頼ることで、手動設定の座標が与えるゲインのほぼすべてを捉えます。
シリコンラインと共有エンジン
RL-L1 と Obsidian シリコンと同じ散逸フィールド上に構築されているため、モデルとサブストレートは2つの物理ではなく1つの物理に収束します。
