Data Engineer - Data Products

agap2 Spain; Barcelona; Híbrido; EUR 55.000 - 85.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Ticket restaurant

Seguro médico

Formación continua y certificaciones

Flexibilidad horaria

Descripción de la vacante

Agap2 Spain busca un Data Engineer – Data Products con experiencia en construcción de pipelines de datos y Big Data, orientado a crear productos de datos y a la puesta en producción de resultados de ML.

La persona trabajará en Barcelona, con jornada completa y modalidad híbrida. Se valorará inglés fluido y experiencia con Databricks, Spark y herramientas de orquestación. Formación continua y entorno internacional.

Formación

• Transformar datos inferidos y predicciones de ML en productos de datos de alta calidad.
• Diseñar, desarrollar y mantener pipelines de inferencia escalables (batch y real-time).
• Desarrollar procesos de datos con Python, SQL, Spark y Databricks.
• Modelar datasets para servir predicciones y features a usuarios y apps.
• Colaborar con Data Science y Data Platform para el paso a producción.
• Aplicar buenas prácticas de MLOps para industrializar soluciones.
• Diseñar y mantener workflows con Airflow u herramientas similares.
• Implementar CI/CD con Azure DevOps.
• Monitorear pipelines y calidad de datos con Azure Monitor y Grafana.
• Trabajar con SQL Server y PostgreSQL para consumo de productos de datos.
• Experiencia >4 años en software/Data Engineering; ≥2 años en Big Data.
• Experiencia con Python y SQL; Databricks y Apache Spark.
• Inglés fluido para entorno internacional.

Responsabilidades

• Transformar datos e inferencias en productos de datos fiables y accesibles.
• Diseñar, desarrollar y mantener pipelines de inferencia para procesamiento en batch y en tiempo real.
• Colaborar con equipos de Data Science y Data Platform para poner modelos en producción.
• Aplicar prácticas MLOps para industrializar soluciones de ML.
• Diseñar y mantener workflows de datos con Airflow.
• Configurar y gestionar pipelines de CI/CD con Azure DevOps.
• Monitorizar pipelines, calidad de datos y drift de modelos con Azure Monitor y Grafana.
• Trabajar con bases de datos relacionales (SQL Server, PostgreSQL) para servir datos.
• Aplicar metodologías Agile y colaborar en equipos multidisciplinares.

Conocimientos

Python

SQL

Inglés fluido

Big Data

Spark

Colaboración

Herramientas

Databricks

Apache Spark

Apache Airflow

Azure DevOps

Azure Monitor

Grafana

SQL Server

PostgreSQL

GCP

Descripción del empleo

Desde Agap2 estamos buscando incorporar un perfil de Data Engineer – Data Products con experiencia en construcción de pipelines de datos y Big Data, orientado a la creación de productos de datos y a la puesta en producción de resultados y predicciones procedentes de modelos de Machine Learning.

¿Buscas dar tu próximo paso profesional en un proyecto innovador dentro del mundo Data & AI? ¡Queremos conocerte!

• Transformar datos inferidos y predicciones procedentes de modelos de Machine Learning en productos de datos fiables, accesibles y de alta calidad para diferentes usuarios y áreas de negocio.
• Diseñar, desarrollar y mantener pipelines de inferencia escalables, tanto batch como en tiempo real, para procesar e integrar los resultados de modelos de ML dentro del ecosistema de datos.
• Desarrollar y optimizar procesos de datos utilizando Python, SQL, Spark y Databricks.
• Diseñar y modelar datasets específicamente preparados para servir predicciones, features e insights a usuarios finales y aplicaciones downstream.
• Colaborar estrechamente con equipos de Data Science y Data Platform para facilitar el paso de los modelos desde la fase de desarrollo hasta su despliegue en producción.
• Contribuir a la implementación de buenas prácticas MLOps que permitan industrializar y mantener de forma robusta las soluciones de Machine Learning.
• Diseñar y mantener workflows de datos mediante Apache Airflow o herramientas de orquestación similares.
• Implementar y mantener pipelines de integración y despliegue continuo mediante Azure DevOps.
• Monitorizar el estado de los pipelines, la calidad de los datos y posibles desviaciones en los modelos mediante herramientas como Azure Monitor y Grafana.
• Trabajar con bases de datos relacionales como SQL Server y PostgreSQL para la explotación y consumo de los productos de datos.
• Más de 4 años de experiencia en desarrollo de software, Data Engineering o posiciones similares.
• Al menos 2 años de experiencia trabajando con frameworks Big Data y desarrollando pipelines de datos o Machine Learning preparados para entornos productivos.
• Experiencia sólida en Python y SQL.
• Experiencia trabajando con Databricks y Apache Spark.
• Experiencia con Apache Airflow o herramientas similares para la gestión y orquestación de workflows de datos.
• Experiencia trabajando con bases de datos relacionales, concretamente SQL Server y PostgreSQL.
• Experiencia implementando y manteniendo pipelines de CI/CD con Azure DevOps.
• Experiencia con herramientas de monitorización y alertas como Azure Monitor y Grafana, especialmente para el seguimiento de pipelines, calidad de datos y model drift.
• Experiencia trabajando en plataformas Cloud, específicamente Google Cloud Platform (GCP).
• Experiencia trabajando bajo metodologías Agile.
• Nivel de inglés fluido para desenvolverse en un entorno internacional y multicultural.

Valorable

• Experiencia o conocimientos de .NET.
• Experiencia trabajando con Kafka, Kubernetes o Snowflake.
• Conocimientos de bases de datos NoSQL como MongoDB, Elasticsearch o Cassandra.
• Familiaridad con conceptos relacionados con model serving y Feature Stores.
• Experiencia trabajando directamente con pipelines de inferencia de modelos de Machine Learning.
• Contribuciones a proyectos Open Source.

• Jornada completa y modalidad de trabajo híbrida en Barcelona.
• Contratación indefinida desde el primer momento.
• Retribución flexible, ticket restaurant, seguro médico y otros beneficios.
• Flexibilidad horaria.
• Formación continua y acceso a cursos y certificaciones.
• Trabajo dentro de equipos multidisciplinares junto a perfiles de Data Science, Data Engineering, Backend y DevOps.

Agap2 es una empresa que ofrece igualdad de oportunidades, por ello nos comprometemos a tratar todas las candidaturas por igual en función de sus capacidades, logros y experiencia. Animamos a cualquier persona a presentar su candidatura que será tratada con igualdad de oportunidades independientemente de su raza, nacionalidad, sexo, edad, discapacidad, orientación sexual, identidad de género o cualquier otra característica.