+0.65 ± 0.02
Vantaggio di ritenzione a lungo termine
Esecuzioni con consolidamento vs controlli amnesiaci, multi-seed.
Cognitivo · Ricerca attiva
Un trainer che alleva la cognizione, non uno che la adatta.
Un trainer evolutivo per substrati cognitivi: radicamento nel mondo, non memorizzazione.
“como mi madre” — prima il radicamento, poi la generalizzazione.
Cos'è Atelier
Un curriculum, non un fine-tune.
Atelier nasce dalla convinzione che il modo giusto di addestrare un substrato sia quello in cui si alleva un bambino: percependo, producendo, venendo corretti, vincolando e consolidando, il tutto su uno schedule a due scale temporali. È il conduttore che collega il substrato, la memoria strutturata, il framework di fine-tuning e la palestra cognitiva in un unico curriculum — e il livello in cui misuriamo se quel curriculum produce davvero un comportamento radicato anziché una tabella di lookup.
Il conduttore collega il substrato, la memoria strutturata, il framework di fine-tuning e la palestra cognitiva in un unico ciclo di allevamento — e il verificatore sta nel mezzo, così che il progresso non venga mai falsificato.
Il ciclo
Cinque passi, ogni episodio.
Le costanti sono i passi. Ciò che cambia è il mondo in cui viene allevato lo studente.
- AM1
Percepire
L'evidenza arriva da una o più modalità — incluso un canale di risorse in tempo reale.
- AM2
Produrre
Lo studente agisce sotto un obiettivo di produzione radicato. Nessuna scorciatoia.
- AM3
Correggere
Un verificatore di entailment tipizzato controlla la produzione. Nessuna ricompensa falsificata.
- AM4
Vincolare
I successi si vincolano nella memoria strutturata con scambio di ruoli e recupero multi-hop.
- AM5
Consolidare
Un passo CLS a due scale temporali integra il binding nell'identità a lungo termine.
Traguardi
Cosa abbiamo misurato.
- Fase 1
Confronto diretto decisivo realizzato
Tre percorsi di allevamento confrontati in isolamento. L'addestramento radicato tradizionale funziona; una scorciatoia di distillazione collassa in un lookup; il ciclo evolutivo radica il mondo in modo pulito.
grounded 1.00shortcut 0.00lookup 1.00 - Fase 2
Verificatore onesto costruito
Un verificatore di entailment tipizzato senza mascheramento di fallback. La ricompensa diventa NaN quando l'entailment diventa NaN. Percorso arXiv in tempo reale opt-in e protetto da autenticazione.
no faked NLINaN propagationauth-gated - Fase 4
Identità a lungo termine misurata
Le esecuzioni con consolidamento conservano tutti i mondi precedenti. I controlli amnesiaci dimenticano in modo catastrofico. Il divario regge attraverso i seed.
forgetting +0.00retention 1.00amnesiac forget +1.00 - Oggi
Multi-seed, dodici miglioramenti realizzati
Un lotto di sei miglioramenti chiuso con barre d'errore multi-seed. Il binding relazionale fattorizzato per slot vince in modo pulito. La tesi sui priori architetturali falsificata onestamente.
n=5slot vs byte +0.36arch-priors falsified
Misurato (multi-seed, n=5)
Radicato, non memorizzato.
1.90 ± 0.14 ×
Efficienza campionaria CLS
Schedule CLS a due scale temporali vs baseline a singola scala temporale.
+0.36
Binding fattorizzato per slot vs a livello di byte
Recupero relazionale held-out, scambio di ruoli held-out.
Confronto diretto decisivo
Il B-collapse, in un solo grafico.
Tre percorsi di allevamento a parità di calcolo. La scorciatoia di distillazione sembra attraente sui task di lookup e scompare sulla produzione radicata.
Nota: il vantaggio C−B sulla produzione radicata = +0.79 ± 0.18 attraverso i seed. C>A non è pulito (±0.24). La vittoria robusta è del metodo di allevamento, non dell'architettura.
Cosa abbiamo falsificato
Risultati negativi che pubblichiamo comunque.
Poiché il verificatore non falsifica mai un segnale, Atelier è anche il luogo in cui pubblichiamo ciò che non funziona.
-
“L'architettura post-transformer vince da sola” — falsificata nelle stesse condizioni di confronto equo. Un Transformer vanilla esterno ha raggiunto 1.00 sul naming a parità di calcolo. Il valore robusto risiede nell'obiettivo e nel binding fattorizzato per slot, non nell'architettura.
-
Il recupero degli imprevisti si è ridotto da un romantico +0.25 a +0.13 ± 0.09 sotto valutazione multi-seed. Pubblichiamo il numero più piccolo.
-
I percorsi a scorciatoia di distillazione sembrano attraenti nelle prime esecuzioni e collassano in una tabella di lookup sotto valutazione held-out. Riportato come avvertenza a livello di paradigma.
“Alleviamo la cognizione. Non la adattiamo.”
Dove gira il curriculum
A cosa serve Atelier.
Addestrare le linee di punta
RL-X1 è allevato dentro Atelier. Il ciclo è ciò che trasforma il substrato più la memoria strutturata in un modello utilizzabile — non uno script di fine-tune.
Vedi RL-X1 →Learner che non dimenticano
Lo schedule CLS a due scale temporali è la base per la linea continua. La ritenzione a lungo termine è misurata, non assunta.
Vedi RL-C1 →Una piattaforma per risultati negativi onesti
Due falsificazioni di portata paradigmatica sono già passate. Il verificatore è il motivo per cui l'asticella della pubblicazione resta alta.
Vedi le valutazioni →Ricerca correlata
Il lavoro alla base di Atelier.
Disponibile tramite