認知マップ
アナロジーと反事実のための基盤としての構造化されたマップ。神経科学から引き出され、私たち自身のメモリライブラリに対して検証される。
フィールド
認知とメモリ
認知マップ、構造化バインディング、および脳の組み合わせ方——人工認知への応用。
構成的基盤としての認知マップ
神経科学の蓄積されつつある知見は、認知がエンティティをロールに結びつけ、ドメインをまたいで構成する構造化されたマップによって支えられていることを示唆している。私たちのサイエンスプログラムはこれを真剣に受け止める——それらの組織化原理を共有する人工システムを構築し、構成を記憶から識別するために設計されたタスクに対して評価する。
ほとんどのモデル
エンティティ、ロール、世界を一つの埋め込み空間に平坦化し、より深いネットワークが再びそれらをほどいてくれることを期待する。
私たちの賭け
認知マップはエンティティ、ロール、世界を別個の構造的オブジェクトとして扱い、それらを畳み込むことを決して許さないタスクで評価する。
サイエンスがシステムと出会う場所
バインディング
ロール・フィラーのバインディングがロールの入れ替えやホールドアウト評価の下でどう振る舞うか——そしてそれが成り立たないとき何が崩れ落ちるか。
生涯にわたるアイデンティティ
長期メモリが以前の世界を上書きせずにどう統合するか。健忘症的な対照群に対して測定される。
スロット分解型とバイトレベル型の測定比較
ホールドアウト、マルチシード。同一のモデルクラスを二つのバインディング体制下で評価する。システムに明示的なスロットがある場合、ロールの入れ替えやホールドアウトされた組み合わせは敵対的ではない。
タスク スロット分解型 バイトレベル型 備考
compositional held-out role-filler combinations · n=5
relational simple subject-verb-object scenes · n=5
role-swap identical content, roles permuted · n=5
naming name-targeted prefix-LM, held-out · n=5
勝因はアーキテクチャではなくバインディング体制である。両方の列で同一のバックボーンファミリを測定するため、比較は構造的選択のみを切り分ける。
上書きではなく統合
統合するコントローラは、見たすべての世界を保持する。健忘症的なコントローラ——同じデータ、同じ計算量、統合なし——は、新しい世界が到来するにつれて以前の世界を失う。
クリーンなA/Bを生き残らなかったもの
生き残る賭けは、目的関数とバインディングにある。魅力的なアーキテクチャ的主張が生き残らない場合、私たちはこのページでそう述べる。
連続性に関する公正な戦いはネガティブである
二つのバックボーンが同じ学習ルールを共有するクリーンなA/Bテストの下では、発達的な基盤は生涯にわたる保持において強力なトランスフォーマーを上回らない。私たちはそう述べる。
測定値 · retain 0.66 ± 0.25 vs 0.94 ± 0.03
命名はアーキテクチャに縛られない
同じハーネス上で、トランスフォーマーは完璧な命名スコアに到達する。命名における勝因は、基盤ではなく目的関数と育成にある。
測定値 · transformer naming = 1.00 held-out
C > A はクリーンではない
n=5シード全体で、発達的なものと強力なベースラインの間の差は誤差範囲に十分収まっている。そこで基盤の勝利を主張することはない。
測定値 · gap inside ± 0.24
科学的な賭け、誠実に評価する
私たちはネガティブ結果を公開する。アーキテクチャ事前分布に関する主張がクリーンなA/Bテストを生き残らない場合、私たちはそう述べる。生き残る賭けは、上に押し付ける基盤ではなく、目的関数とバインディングにある。
横断テーマ
認知は、他のすべてが乗る基盤である
同じバインディングと統合のプリミティブが、私たちの研究プログラム全体——構造化メモリ、評価、アラインメント——にわたって、そして私たちが提供するすべての長期稼働の本番システムを通じて立ち現れる。