S1
Codici di popolazione sparsi
I concetti vivono come attività sparsa e distribuita su un substrato, non come embedding all'interno di una matrice densa. L'interferenza è limitata; la composizione è geometrica.
Substrato · Ricerca attiva
Architettura, non un modello più grande.
Un substrato di calcolo biologico per la cognizione post-transformer.
Cos'è Stamen
Architettura, non un modello più grande
Stamen si fonda sulla premessa che il prossimo passo nella cognizione artificiale non sia un maggior numero di parametri, ma un substrato diverso. Trattiamo rappresentazione, composizione e richiamo come operazioni di prima classe dello stack hardware-software, non come effetti collaterali emergenti dell'attenzione. Il risultato è un substrato funzionante in cui ciò che il sistema conosce è strutturato, ciò che calcola è locale ed energeticamente consapevole, e in cui nuova conoscenza può essere aggiunta senza riscrivere quella precedente.
Principi del substrato
Quattro idee che organizzano lo stack
Stamen ha una visione precisa. Ogni livello si impegna su un insieme ristretto di principi organizzativi tratti dalle neuroscienze corticali e dal calcolo allineato al substrato.
S2
Loop localmente ricorrenti
Il calcolo è scomposto in loop brevi che comunicano con i vicini, non in lunghe sequenze di attenzione su tutto. La latenza resta piatta man mano che il substrato cresce.
S3
Routing energeticamente consapevole
I percorsi sono pianificati con esplicita attenzione al costo di calcolo. Il substrato inattivo è genuinamente inattivo, quindi i carichi di lavoro scalano con la rilevanza, non con il numero di parametri.
S4
Memoria nativa del substrato
La memoria fa parte del substrato, non è un archivio esterno aggiunto in seguito. Lettura, scrittura e binding sono operazioni native.
Una forma diversa
Attenzione densa versus substrato sparso.
Both compute. Only one is organized.
Tutto comunica con tutto.
Località più codici sparsi.
Costo di composizione
Quadratico nei token
Locale nel substrato
Interferenza
Catastrofica durante gli aggiornamenti
Limitata dalla sparsità
Calcolo inattivo
Paga comunque il conto
Genuinamente inattivo
Memoria
Esterna, aggiunta in seguito
Operazione nativa del substrato
Crescita della latenza
Cresce con il contesto
Piatta con il substrato
Progressi
Come Stamen è arrivato qui
- 01
Fase 1
Prova di concetto del substrato
Prima versione funzionante del substrato, con codici di popolazione sparsi collegati a un'interfaccia di rappresentazione utilizzabile. Benchmark interni stabiliti.
- 02
Fase 2
Risultato negativo onesto su un bridge hardware
Un bridge acceleratore proposto è stato falsificato in scala rispetto a baseline dense altamente ottimizzate. Il risultato ha ridisegnato la roadmap del silicon ed è documentato come un risultato negativo pubblicato.
- 03
Fase 3
Tutti i test di gating completati
I test di gating a livello di substrato, incluso il comportamento strict-max sotto perturbazione controllata, si sono tutti chiusi entro il limite prefissato.
- 04
Fase 4
Composto con Heddle e Atelier
Stamen è stato integrato con la memoria strutturata e il trainer evolutivo, producendo le prime esecuzioni end-to-end dello stack cognitivo su dati reali.
Measured
5/5
Test di gating del substrato in fase 3 completati
Strict-max ceiling contained at 1.32%. Zero outstanding red gates at last review.
Dove appare Stamen
A valle del substrato
Substrato Stamen
Ragionamento cross-domain di punta
Stamen è il substrato di calcolo alla base della nostra linea di modelli RL-X1 di punta. La qualità del ragionamento sui task a lungo orizzonte è una proprietà del substrato, non un trucco di finestra di contesto.
Memoria strutturata componibile
Heddle esegue binding e recupero su rappresentazioni native di Stamen. La composizione rimane composizionale; il richiamo scala con la struttura, non con il numero di token.
Silicon allineato al substrato
Le generazioni Obsidian sono progettate sugli stessi primitivi utilizzati da Stamen, così la fisica del chip e la geometria della cognizione condividono un principio organizzativo comune.
“We optimised the substrate the way you would optimise a microcircuit: locality, energy, and structure first. The model is what falls out.”
Ricerca correlata
Il lavoro alla base di Stamen.
Disponibile tramite