Connect with us

Administración

CodeFlare, integración y escalación de flujos de trabajo

César Villaseñor

Published

on

IBM anunció CodeFlare, un marco open-source para simplificar la integración y el escalamiento eficiente de flujos de trabajo de big data e IA en la nube híbrida. CodeFlare está construido sobre Ray, un marco emergente de computación distribuida open-source para aplicaciones de aprendizaje automático. CodeFlare extiende las capacidades de Ray y agrega elementos específicos con el fin de facilitar el escalamiento de flujos de trabajo.

Para crear un modelo de machine learning hoy, los investigadores y desarrolladores primero deben entrenar y optimizar el modelo.

Estas tareas pueden implicar depuración de datos, extracción de características y mejora del modelo. CodeFlare reduce este proceso utilizando una interfaz basada en Python para lo que se denomina un pipeline, que consiste en simplificar los pasos de integrar, poner en paralelo y compartir los datos.

El objetivo del nuevo marco es unificar los flujos de pipelines a lo largo de múltiples plataformas sin que los científicos de datos tengan que aprender un nuevo lenguaje de flujo de trabajo.

Los pipelines de CodeFlare se ejecutan con facilidad en la nueva plataforma serverless de IBM, IBM Cloud Code Engine, y Red Hat OpenShift. Los usuarios pueden implementarlo casi en cualquier lugar, extendiendo los beneficios de la plataforma serverless a científicos de datos e investigadores de IA.

También permite una mayor facilidad para integrar y hacer de puente con otros ecosistemas nativos de nube, al proporcionar adaptadores para disparadores de eventos (como la llegada de un nuevo archivo), cargar y particionar datos de una amplia gama de fuentes, como almacenamientos de objeto de nube, data lakes y sistemas de archivos distribuidos.

Con CodeFlare cabe esperar que los desarrolladores no tengan que duplicar sus esfuerzos ni enfrentarse a la dificultad de descubrir qué han hecho sus colegas en el pasado para ejecutar un determinado pipeline. Con CodeFlare, IBM apunta a dar a los científicos de datos herramientas enriquecidas y APIs que puedan usar en forma más consistente, que les permitan concentrarse más en su investigación en curso y desentenderse de la complejidad de la configuración e implementación.

Por ejemplo, cuando un usuario aplicó el marco para analizar y optimizar aproximadamente 100.000 pipelines para entrenar modelos de machine learning, CodeFlare redujo el tiempo que le llevó ejecutar cada pipeline de 4 horas a 15 minutos.

Con otros usuarios, se ha comprobado cómo CodeFlare redujo meses de tiempo de desarrollo y les permitió abordar problemas de datos más grandes que antes.

Advertisement
Advertisement

VIDEOS

Resources

Advertisement

Recientes

Advertisement