S1
Códigos de população esparsos
Os conceitos vivem como atividade esparsa e distribuída sobre um substrato, em vez de como embeddings dentro de uma matriz densa. A interferência é limitada; a composição é geométrica.
Substrato · Investigação ativa
Arquitetura, não um modelo maior.
Um substrato de computação centrado na biologia para cognição pós-transformer.
O que é o Stamen
Arquitetura, não um modelo maior
O Stamen assenta na premissa de que o próximo passo na cognição das máquinas não são mais parâmetros, mas um substrato diferente. Tratamos a representação, a composição e a evocação como operações de primeira classe da pilha hardware-software, não como efeitos secundários emergentes da atenção. O resultado é um substrato funcional onde o que o sistema sabe é estruturado, onde o que calcula é local e consciente da energia, e onde o novo conhecimento pode ser adicionado sem reescrever o antigo.
Princípios do substrato
Quatro ideias que organizam a pilha
O Stamen tem convicções próprias. Cada camada compromete-se com um pequeno conjunto de princípios organizacionais retirados das neurociências corticais e da computação alinhada ao substrato.
S2
Ciclos localmente recorrentes
A computação é decomposta em ciclos curtos que comunicam com os vizinhos, não em longos spans de atenção sobre tudo. A latência mantém-se plana à medida que o substrato cresce.
S3
Encaminhamento consciente da energia
Os caminhos são agendados com atenção explícita ao custo computacional. O substrato inativo é genuinamente inativo, pelo que as cargas de trabalho escalam com a relevância, não com o número de parâmetros.
S4
Memória nativa do substrato
A memória faz parte do substrato, não é um armazém externo colado depois. Ler, escrever e vincular são operações nativas.
Uma forma diferente
Atenção densa vs. substrato esparso.
Both compute. Only one is organized.
Tudo comunica com tudo.
Localidade mais códigos esparsos.
Custo de composição
Quadrático em tokens
Local no substrato
Interferência
Catastrófica na atualização
Limitada pela esparsidade
Computação inativa
Ainda paga a fatura
Genuinamente inativa
Memória
Externa, colada por cima
Operação nativa do substrato
Crescimento da latência
Cresce com o contexto
Plana com o substrato
Progresso
Como o Stamen chegou aqui
- 01
Fase 1
Prova de conceito do substrato
Primeira versão funcional do substrato, com códigos de população esparsos ligados a uma interface de representação utilizável. Benchmarks internos estabelecidos.
- 02
Fase 2
Negativo honesto numa ponte de hardware
Uma ponte aceleradora proposta foi falsificada à escala face a linhas de base densas altamente ajustadas. O resultado reformulou o roteiro de silício e está documentado como um negativo publicado.
- 03
Fase 3
Todos os testes de gating concluídos
Os testes de gating ao nível do substrato, incluindo o comportamento de strict-max sob perturbação controlada, foram todos concluídos dentro do limite definido.
- 04
Fase 4
Composto com Heddle e Atelier
O Stamen foi ligado à memória estruturada e ao treinador desenvolvimental, produzindo as primeiras execuções ponta a ponta da pilha cognitiva em dados reais.
Measured
5/5
Testes de gating de substrato da fase 3 concluídos
Strict-max ceiling contained at 1.32%. Zero outstanding red gates at last review.
Onde o Stamen aparece
A jusante do substrato
Substrato Stamen
Raciocínio multi-domínio de referência
O Stamen é o substrato computacional por baixo da nossa linha de modelos de referência RL-X1. A qualidade do raciocínio em tarefas de longo horizonte é uma propriedade do substrato, não um truque de janela de contexto.
Memória estruturada composível
O Heddle vincula e recupera sobre representações nativas do Stamen. A composição mantém-se composicional; a evocação escala com a estrutura, não com o número de tokens.
Silício alinhado ao substrato
As gerações Obsidian são concebidas em torno dos mesmos primitivos que o Stamen utiliza, para que a física do chip e a geometria da cognição partilhem um princípio organizador.
“We optimised the substrate the way you would optimise a microcircuit: locality, energy, and structure first. The model is what falls out.”
Investigação relacionada
O trabalho por trás do Stamen.
Disponível através de