Lead Data Engineer

Descripción

EPAM busca a una persona ingeniera de datos líder que trabaje de forma remota desde México para construir una plataforma de MLOps que soporte la entrega y el despliegue automatizados de modelos y la ingeniería de variables (features) a gran escala. En este puesto, la persona avanza la pila de featureOps con Azure Databricks, Azure Data Factory y Azure DevOps para implementar pipelines de CI/CD que alimentan el Databricks Feature Store de aplicaciones de Model Lab. Responsabilidades: - Migrar a Azure los pipelines existentes de ingeniería de variables en Spark - Trabajar con el equipo en el diseño y desarrollo de un modelo de pronóstico - Apoyar el despliegue del modelo de machine learning en un entorno de producción - Contribuir al diseño y la construcción del pipeline de CI/CD que alimenta el Databricks Feature Store - Coordinarse con personas científicas de datos e ingenieras para alinear la ingeniería de variables con los requisitos de los modelos de ML - Asegurar que los pipelines de datos sean confiables y escalables en toda la plataforma - Resolver problemas y mejorar los flujos de trabajo actuales basados en Spark durante la migración

Requisitos

Beneficios