Felder

Kognition und Gedächtnis

Kognitive Karten, strukturelle Bindung und die Kompositionsprinzipien des Gehirns — angewandt auf künstliche Kognition.

Umfangkognitive Karten · Bindung · lebenslange Identität
MethodeMulti-Seed-A/B mit veröffentlichten Negativergebnissen
Ergebnisdiskriminierende Aufgaben, keine Ranglisten
agent tool goal state reward memory
strukturierte Karte · Entitäten an Rollen gebunden, nicht in ein flaches Embedding gefaltet
Warum Kognition ein Wissenschaftsprogramm ist

Kognitive Karten als kompositionelles Substrat

Ein wachsender Bestand neurowissenschaftlicher Erkenntnisse legt nahe, dass Kognition von strukturierten Karten getragen wird, die Entitäten an Rollen binden und über Domänen hinweg komponieren. Unser Wissenschaftsprogramm nimmt dies ernst: Wir bauen künstliche Systeme, die diese Organisationsprinzipien teilen, und evaluieren sie gegen Aufgaben, die darauf ausgelegt sind, Komposition von Memorisierung zu unterscheiden.

die meisten Modelle

falten Entitäten, Rollen und Welten in einen einzigen Embedding-Raum und hoffen, dass ein tieferes Netz sie wieder entwirrt.

unsere Wette

kognitive Karten behandeln Entitäten, Rollen und Welten als getrennte strukturelle Objekte, und wir evaluieren gegen Aufgaben, die jedes Falten bestrafen.

Drei Blickwinkel

Wo die Wissenschaft auf das System trifft

C1

Kognitive Karten

Strukturierte Karten als Substrat für Analogie und Kontrafaktik, aus der Neurowissenschaft abgeleitet und gegen unsere eigene Gedächtnisbibliothek getestet.

entity role world
belohnt kognitive Struktur, die Analogie und Kontrafaktik trägt bestraft flache Embeddings, die wie der Trainingssatz aussehen
C2

Bindung

Wie sich Rollen-Füller-Bindung unter Rollentausch und ausgelassener Evaluierung verhält — und was herausfällt, wenn nicht.

subject verb object dog chases cat subject verb object cat chases dog same content · roles permuted · the binding must change
belohnt Bindung, die Rollentausch und ausgelassene Kombinationen übersteht bestraft Systeme, die IID bestehen und unter Permutation scheitern
C3

Lebenslange Identität

Wie Langzeitgedächtnis konsolidiert, ohne frühere Welten zu überschreiben, gemessen an amnestischen Kontrollen.

retain worlds seen → consolidating amnesiac
belohnt Gedächtnis, das frühere Welten konsolidiert, während es neue lernt bestraft Recency-Bias, verkleidet als kontinuierliches Lernen
Bindung unter Permutation

Slot-faktorisiert vs. Byte-Ebene, gemessen

Ausgelassen, Multi-Seed. Dieselbe Modellklasse evaluiert unter zwei Bindungsregimen. Wo das System über explizite Slots verfügt, sind Rollentausch und ausgelassene Kombinationen nicht adversariell.

Aufgabe Slot-faktorisiert Byte-Ebene Anmerkungen
compositional 0.96 0.14 held-out role-filler combinations · n=5
relational 0.99 0.63 simple subject-verb-object scenes · n=5
role-swap 1.00 0.60 identical content, roles permuted · n=5
naming 1.00 0.00 name-targeted prefix-LM, held-out · n=5

Der Gewinn liegt im Bindungsregime, nicht in der Architektur. Wir messen dieselbe Backbone-Familie in beiden Spalten, sodass der Vergleich die strukturelle Wahl isoliert.

lebenslange Identität

Konsolidierung, kein Überschreiben

Ein Controller, der konsolidiert, behält jede Welt, die er gesehen hat. Ein amnestischer Controller — dieselben Daten, dieselbe Rechenleistung, keine Konsolidierung — verliert frühere Welten, sobald neue eintreffen.

0.00 0.25 0.50 0.75 1.00 w1 w2 w3 w4 w5 w6 w7 w8 w9 w10 w11 w12 retention across worlds seen consolidating · forgetting +0.00 amnesiac · forgetting +1.00
n=5 Seeds · dieselben Daten, dieselbe Rechenleistung, die Konsolidierungsregel ist die einzige variierte Achse.
ehrliche Negativergebnisse

Was ein sauberes A/B nicht überstand

Die Wette, die übersteht, liegt auf Zielfunktion und Bindung. Wo ein verlockender architektonischer Anspruch dies nicht tut, sagen wir es auf der Seite.

negativ

fairer Wettkampf bei Kontinuität ist ein Negativergebnis

Unter einem sauberen A/B-Test, bei dem zwei Backbones dieselbe Lernregel teilen, schlägt das entwicklungsbiologische Substrat einen starken Transformer bei lebenslanger Retention nicht. Wir sagen es.

gemessen · retain 0.66 ± 0.25 vs 0.94 ± 0.03

negativ

Benennung ist nicht architekturgebunden

Ein Transformer erreicht im selben Harness einen perfekten Benennungswert. Der Gewinn bei der Benennung liegt in der Zielfunktion und der Aufzucht, nicht im Substrat.

gemessen · transformer naming = 1.00 held-out

negativ

C > A ist nicht sauber

Über n=5 Seeds liegt der Abstand zwischen dem entwicklungsbiologischen und dem starken Baseline-Modell deutlich innerhalb der Fehlerbalken. Wir beanspruchen dort keinen Substrat-Gewinn.

gemessen · gap inside ± 0.24

Eine wissenschaftliche Wette, ehrlich evaluiert

Wir veröffentlichen Negativergebnisse. Wo ein Anspruch auf Architektur-Priors einen sauberen A/B-Test nicht übersteht, sagen wir es. Die Wette, die übersteht, liegt auf Zielfunktion und Bindung, nicht darauf, welches Substrat man obenauf prägt.

Querschnitte

Kognition ist das Substrat, auf dem alles andere ruht

Dieselben Bindungs- und Konsolidierungsprimitiven tauchen in unseren Forschungsprogrammen auf — strukturiertes Gedächtnis, Evals, Alignment — und in jedem dauerhaft laufenden Produktivsystem, das wir ausliefern.