M1
アナロジー
束ねられた構造はドメインをまたいできれいに写像されるため、アナロジーは第一級の検索結果となります。
構造化メモリ
コンテキスト長ではなく、構造とともにスケールするメモリ。
アナロジー、反事実的推論、組み合わせ的バインディング——100万エントリ規模での測定結果。
バインディング
g ⊗ e → p
グラウンディング ⊗ エンティティ → 束ねられた知覚 · 想起の単位
構造化メモリとは何を意味するか
コンテキスト長ではなく、構造とともにスケールするメモリ
私たちは知識を、平坦なトークン列ではなく、束ねられた構造——グラウンディングとエンティティのベクトルの積——として表現します。概念は、毎回コンテキストから再導出されることなく、構成され、分解され、再結合します。検索がバッファ上の探索ではなく構造上のウォークであるため、コレクションが大きくなってもマルチホップの連鎖は扱いやすいままです。
バインディングが私たちに与えるもの
ただで得られる三つの振る舞い
M2
反事実
アナロジーを検索するのと同じ機構が、役割を組み替えてバインディングを再実行し、反事実を評価できます。
M3
マルチホップ想起
2、5、10ホップの連鎖は構造上のウォークです。コストはトークン長ではなく構造とともに増えます。
スケーリング
N が100万に達してもP@5は1.00を保つ
ホールドアウトのマルチホップ検索タスクでprecision-at-5を測定します。構造化メモリの線は3桁にわたって1.00を保ち、バイトレベルのベースラインはコレクションが大きくなるにつれて低下していきます。
構造化メモリ バイトレベルのベースライン（参照）
P@5 1.00
100万エントリでのマルチホップ精度
ホールドアウト評価、訓練と検索の間に漏れなし。
+0.36
関係的バインディングにおけるスロット因子分解対バイトレベル
ホールドアウトのロールスワップ・テスト、マルチシード。
8 / 8
v0.3.0でクローズされた科学的ゲート
すべてのリリースブロッカーは測定済みのテストでした。
スロット対バイト
構造化バインディングがその価値を示すのがロールスワップ
「エージェントAがターゲットBを名付ける」は「エージェントBがターゲットAを名付ける」と同じ命題ではありません。スロット因子分解されたバインディングは役割の割り当てを保持し、バイトレベルの検索はそれを平坦化します。
命題 スロット因子分解 バイトレベル Δ
"agent A names target B" 1.00 0.63 +0.37
"agent B names target A" (swapped) 1.00 0.60 +0.40
compositional new pair 0.99 0.69 +0.30
ロールスワップ・テスト、ホールドアウト、n = 5シード。マルチシードの報告は [[beyond-transformers]] に。
構造とともにスケールする
メモリのコストは、コンテキストウィンドウの長さではなく、保存されているものの関係的構造とともに増えます。それによりコレクションが数百万エントリへと成長してもマルチホップ推論が扱いやすいままになります。
どのように評価するか
あらゆる主張はホールドアウト・テストとマルチシードのエラーバーで測定されます。重要なところでは、同じタスクをスロット因子分解されたメモリとバイトレベルのベースラインの両方で実行し、向上が仮定ではなく帰属可能であるようにします。