Los pipelines se componen a partir de componentes versionados y declarativos que viajan con sus dependencias.
Emmy
Un orquestador de workspace que ejecuta pipelines de investigación reproducibles en distintos dominios científicos.
Un orquestador de workspace que viaja con la investigación. Los pipelines se ejecutan, se reproducen y se auditan de forma idéntica.
Orquestación que viaja con la investigación
Emmy es la herramienta de orquestación que usamos para mantener la investigación científica reproducible entre dominios. Compone nuestros bloques de construcción de investigación en pipelines que pueden ejecutarse, reproducirse y auditarse, con el versionado de datos y la gestión de dependencias visibles para los científicos que la usan. Es la capa que permite que un resultado pase de un cuaderno a un artefacto defendible.
Tres propiedades
Los replays son deterministas. Reejecutar un pipeline produce los mismos artefactos a menos que las entradas hayan cambiado, y ese cambio es visible.
Emmy se usa en biología, materiales y cognición sin convertirse en un framework de dominio. Es flujo de trabajo, no modelado.
Cinco replays. Un hash.
El mismo pipeline produce el mismo artefacto cada vez que las entradas coinciden. Cuando las entradas cambian, el cambio es visible a nivel de fila.
Cuatro tipos, compuestos en cualquier cosa.
entrada versionada — datos, modelo o artefacto fijado por hash.
transformación determinista de entradas a salidas.
calificada frente a un conjunto fijo, la salida incluye la traza.
artefacto final fijado a la ejecución, reproducible de extremo a extremo.
Un orquestador, tres ciencias.
biología
pipelines de secuencias, predicción de estructuras, análisis multietapa con referencias versionadas.
materiales
ejecuciones de flujo de silicio, barridos de bloques analógicos, pipelines de layout-a-LVS mantenidos reproducibles entre procesos.
cognición
pipelines de entrenamiento y evaluación para la investigación del sustrato cognitivo, incluidas las ejecuciones multi-semilla.
Por qué lo construimos
La velocidad de la investigación está limitada por la infraestructura de reproducibilidad. Emmy es nuestra respuesta: un orquestador de workspace que permite a un científico entregar un pipeline a un colaborador y obtener la misma respuesta de vuelta.