S1
Codes de population clairsemés
Les concepts résident comme une activité clairsemée et distribuée sur un substrat plutôt que comme des enchâssements dans une matrice dense. L'interférence est bornée ; la composition est géométrique.
Substrat · Recherche active
L'architecture, pas un modèle plus grand.
Un substrat de calcul inspiré de la biologie pour la cognition post-transformer.
Ce qu'est Stamen
L'architecture, pas un modèle plus grand
Stamen est fondé sur le principe que la prochaine étape de la cognition artificielle n'est pas plus de paramètres, mais un substrat différent. Nous traitons la représentation, la composition et le rappel comme des opérations de premier ordre de la pile matériel-logiciel, et non comme des effets secondaires émergents de l'attention. Le résultat est un substrat fonctionnel où ce que le système connaît est structuré, où ce qu'il calcule est local et conscient de l'énergie, et où de nouvelles connaissances peuvent être ajoutées sans réécrire les anciennes.
Principes du substrat
Quatre idées qui organisent la pile
Stamen est opinionné. Chaque couche s'engage sur un petit ensemble de principes organisationnels issus des neurosciences corticales et du calcul aligné sur le substrat.
S2
Boucles localement récurrentes
Le calcul est décomposé en courtes boucles qui communiquent avec les voisins, non en longues plages d'attention sur tout. La latence reste stable lorsque le substrat croît.
S3
Routage conscient de l'énergie
Les chemins sont ordonnancés en tenant compte explicitement du coût de calcul. Le substrat inactif est véritablement inactif, de sorte que les charges de travail s'adaptent à la pertinence, non au nombre de paramètres.
S4
Mémoire native au substrat
La mémoire fait partie du substrat, non un magasin externe ajouté après coup. Lire, écrire et lier sont des opérations natives.
Une forme différente
Attention dense contre substrat clairsemé.
Both compute. Only one is organized.
Tout communique avec tout.
Localité et codes clairsemés.
Coût de composition
Quadratique en tokens
Local dans le substrat
Interférence
Catastrophique à la mise à jour
Bornée par la clairsemure
Calcul inactif
Paie quand même la facture
Véritablement inactif
Mémoire
Externe, ajoutée après coup
Opération native du substrat
Croissance de la latence
Croît avec le contexte
Stable avec le substrat
Progression
Comment Stamen en est arrivé là
- 01
Phase 1
Preuve de concept du substrat
Première version fonctionnelle du substrat, avec des codes de population clairsemés câblés dans une interface de représentation utilisable. Les benchmarks internes ont été établis.
- 02
Phase 2
Résultat négatif honnête sur un pont matériel
Un pont accélérateur proposé a été falsifié à grande échelle face à des références denses hautement optimisées. Le résultat a reconfiguré la feuille de route du silicium et est documenté comme un résultat négatif publié.
- 03
Phase 3
Tous les tests de portillonnage clôturés
Les tests de portillonnage au niveau du substrat, y compris le comportement strict-max sous perturbation contrôlée, ont tous été clôturés dans la limite ciblée.
- 04
Phase 4
Composé avec Heddle et Atelier
Stamen a été câblé dans la mémoire structurée et l'entraîneur développemental, produisant les premières exécutions de bout en bout de la pile cognitive sur des données réelles.
Measured
5/5
Tests de portillonnage du substrat en phase 3 clôturés
Strict-max ceiling contained at 1.32%. Zero outstanding red gates at last review.
Où Stamen apparaît
En aval du substrat
Substrat Stamen
Raisonnement phare polyvalent
Stamen est le substrat de calcul sous-jacent à notre ligne de modèles phare RL-X1. La qualité du raisonnement sur les tâches à long horizon est une propriété du substrat, non une astuce de fenêtre de contexte.
Mémoire structurée composable
Heddle lie et récupère sur des représentations natives à Stamen. La composition reste compositionnelle ; le rappel s'adapte à la structure, non au nombre de tokens.
Silicium aligné sur le substrat
Les générations Obsidian sont conçues à partir des mêmes primitives qu'utilise Stamen, de sorte que la physique de la puce et la géométrie de la cognition partagent un principe organisateur commun.
“We optimised the substrate the way you would optimise a microcircuit: locality, energy, and structure first. The model is what falls out.”
Recherches associées
Les travaux qui fondent Stamen.
Disponible via