H1
bind(g, e) → p
バインディング
概念はグラウンディング・テンソルとエンティティ・テンソルの積として保存されます。バインドは構造化メモリの最小単位であり、タスクをまたいで生き残る単位でもあります。
基盤 · 研究中
メモリは構成し、
スクロールしない。
組み合わせ的なバインディングを備えた、言語に依存しない構造化メモリです。
grounding × entity. The bind is the unit.
Heddle とは
メモリは構成し、スクロールしない
Heddle はメモリをトークン・ストリームではなく構造化されたオブジェクトとして扱います。知識の各単位は、それが何であるかと何を担うよう求められているかの積としてバインドされているため、同じ表現を再導出することなく、再バインド・再ロール・再クエリすることができます。マルチホップ・チェーンや反事実的推論は、バッファに対する言語ゲームではなく、構造に対する操作になります。
カテゴリー
構造化された言語非依存メモリ
プリミティブ
グラウンディング × エンティティベクトルのバインド
最適用途
アナロジー、反事実的推論、マルチホップ推論
ステージ
スケールでのマルチホップ・ベンチマーク完了
構成の仕組み
3つのプリミティブ、1つのサブストレート
Heddle は意図的にサーフェスを小さく保っています。3つのプリミティブが、私たちが重視するすべての動作を担います。
H2
swap(p, r′) → p′
ロールスワップ
バインディングはアイデンティティを失わずに再ロールできます。「犬が猫を追いかける」と「猫が犬を追いかける」は、同一のものの言い換えではなく、異なる構造です。
H3
walk(p, k) → ...
マルチホップ・リコール
検索はウィンドウ上の探索ではなく、構造上のウォークです。2ホップ、5ホップ、10ホップのチェーンもコストは構造に応じて増加し、トークン長には依存しないため、扱いやすいままです。
具体的な例
ロールスワップは言い換えではありません。
同じエンティティ、2つの異なるバインディング、2つの真に異なる構造——同一のものを見る2つの視点ではありません。
構造A
dog chases → cat
pA = gchases ⊗ (dog: subj, cat: obj)
構造B
cat chases → dog
pB = gchases ⊗ (cat: subj, dog: obj)
AとBは異なるものとして検索されます。ホールドアウトのロールスワップ評価では、スロット・バインディングは1.00を維持します。バイトレベルのアプローチは0.60まで崩壊します。
測定値
マルチホップ精度は上限を維持します。
P@5 across three index sizes. Held-out evaluation, no leakage between training and retrieval.
1.0 0.75 0.5 0.25 0.0
N = 50k
50,000 エントリ
N = 200k
200,000 エントリ
N = 1M
1,000,000 エントリ
Closing the prior −12.5 pp gap left by the attention-style baseline at the same scale.
進捗
Heddle の歩み
-
v0.1 バインディング・プリミティブのリリース
グラウンディング × エンティティのバインドが、明確な読み取り・書き込み・ロールスワップAPIとともに、コードベースのファーストクラス・プリミティブとして実装されました。
-
v0.2 小規模でのマルチホップ・ベンチマーク完了
5万件および20万件エントリの規模で、トランスフォーマー型ベースラインに対してマルチホップ検索を評価しました。アテンションが散漫になる領域でも Heddle は精度を保ちます。
-
v0.3 8つのゲートすべてが完了
ホールドアウトのロールスワップと敵対的なマルチホップを含む、v0.3の科学的ゲートテストすべてが完了しました。コアスタック内のライブラリとしてリリースされています。
-
現在 100万エントリでのマルチホップ
100万エントリ規模でマルチホップ・リコールを測定し、主要な検索スコアは上限に達しています。同タスクにおけるアテンション型ベースラインとのギャップは、全スケールにわたってプラスです。
Heddle が解放するもの
役割を果たすメモリ
アナロジーと反事実的推論
バインディングを再ロールすることで、再プロンプトなしに「もしも」を評価できます。アナロジーを支える構造は、反事実的推論を支える構造と同一です。
真のメモリを持つ長期稼働エージェント
会話・計画・制約を数日から数週間にわたって記憶する必要があるエージェントは、そのメモリを肥大化するコンテキストではなく構造として保持します。
スケールでの科学的推論
Heddle はドメインの文献量ではなく、関係的複雑さに応じてスケールします。マルチホップの科学的クエリは扱いやすいままです。
Heddle is what you build when you stop pretending a context window is memory.
関連リサーチ
Heddle を支える研究。
利用可能な経路