Pipelines werden aus versionierten, deklarativen Komponenten zusammengesetzt, die mit ihren Abhängigkeiten reisen.
Emmy
Ein Arbeitsbereichsorchestrierer, der reproduzierbare Forschungspipelines über wissenschaftliche Domänen hinweg ausführt.
Ein Arbeitsbereichsorchestrator, der mit der Forschung reist. Pipelines laufen, werden wiederholt und auditiert – stets identisch.
Orchestrierung, die mit der Forschung reist
Emmy ist das Orchestrierungswerkzeug, mit dem wir wissenschaftliche Forschung über Domänen hinweg reproduzierbar halten. Es setzt unsere Forschungsbausteine zu Pipelines zusammen, die ausgeführt, wiederholt und auditiert werden können – mit Datenversionierung und Abhängigkeitsverwaltung, die für die nutzenden Wissenschaftlerinnen und Wissenschaftler sichtbar sind. Es ist die Schicht, die ein Ergebnis aus einem Notebook in ein belastbares Artefakt überführt.
Drei Eigenschaften
Wiederholungen sind deterministisch. Die erneute Ausführung einer Pipeline liefert dieselben Artefakte, es sei denn, die Eingaben haben sich geändert – und diese Änderung ist sichtbar.
Emmy wird in Biologie, Materialien und Kognition eingesetzt, ohne zu einem Domänen-Framework zu werden. Es ist Workflow, nicht Modellierung.
Fünf Wiederholungen. Ein Hash.
Dieselbe Pipeline erzeugt jedes Mal dasselbe Artefakt, sofern die Eingaben übereinstimmen. Ändern sich die Eingaben, wird die Änderung auf Zeilenebene sichtbar.
Vier Arten, zu allem zusammengesetzt.
versionierte Eingabe – Daten, Modell oder Artefakt, per Hash fixiert.
deterministische Transformation von Eingaben zu Ausgaben.
bewertet anhand einer festen Suite, die Ausgabe enthält den Trace.
finales Artefakt, an den Lauf gebunden, durchgängig wiederholbar.
Ein Orchestrator, drei Wissenschaften.
Biologie
Sequenzpipelines, Strukturvorhersage, mehrstufige Analysen mit versionierten Referenzen.
Materialien
Silizium-Flow-Läufe, Analogblock-Sweeps, Layout-zu-LVS-Pipelines, die über Prozesse hinweg reproduzierbar bleiben.
Kognition
Trainings- und Evaluierungspipelines für die Erforschung kognitiver Substrate, einschließlich Läufen mit mehreren Seeds.
Warum wir es gebaut haben
Die Forschungsgeschwindigkeit wird durch die Reproduzierbarkeitsinfrastruktur ausgebremst. Emmy ist unsere Antwort: ein Arbeitsbereichsorchestrator, der es einer Wissenschaftlerin oder einem Wissenschaftler ermöglicht, eine Pipeline an Mitwirkende zu übergeben und dieselbe Antwort zurückzubekommen.