Data Engineer - Data Products

Mindmatch; Barcelona; Híbrido; EUR 55.000 - 85.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Ticket restaurant

Seguro médico

Flexibilidad horaria

Formación continua

Descripción de la vacante

Agap2 busca un Data Engineer – Data Products para diseñar, construir y mantener pipelines de datos y procesos de ML. Trabajarás junto a Data Science y Data Platform para acelerar el paso de modelos a producción y garantizar la calidad de los datos en un entorno híbrido en Barcelona.

Se requiere experiencia sólida en Python, SQL, Databricks y Spark, con capacidad de gestionar pipelines con Airflow y DevOps. Inglés fluido y actitud colaborativa son imprescindibles.

Formación

• Más de 4 años de experiencia en desarrollo de software o Data Engineering.

Responsabilidades

• Transformar datos e inferencias de ML en productos de datos fiables y de alta calidad.

Conocimientos

Inglés fluido

Metodologias Agile

Colaboración interfuncional

Python

SQL

Herramientas

Databricks

Apache Spark

Apache Airflow

Azure DevOps

SQL Server

PostgreSQL

Python

SQL

Google Cloud Platform

Descripción del empleo

Descripción del trabajo

Desde Agap2 estamos buscando incorporar un perfil de. Compruebe que cumpla con los requisitos de habilidades para este puesto, así como con la experiencia asociada,

Data Engineer – Data Products

Responsabilidades

• Transformar datos inferidos y predicciones procedentes de modelos de Machine Learning en productos de datos fiables, accesibles y de alta calidad para diferentes usuarios y áreas de negocio.
• Diseñar, desarrollar y mantener pipelines de inferencia escalables, tanto batch como en tiempo real, para procesar e integrar los resultados de modelos de ML dentro del ecosistema de datos.
• Desarrollar y optimizar procesos de datos utilizando Python, SQL, Spark y Databricks.
• Diseñar y modelar datasets específicamente preparados para servir predicciones, features e insights a usuarios finales y aplicaciones downstream.
• Colaborar estrechamente con equipos de Data Science y Data Platform para facilitar el paso de los modelos desde la fase de desarrollo hasta su despliegue en producción.
• Contribuir a la implementación de buenas prácticas MLOps que permitan industrializar y mantener de forma robusta las soluciones de Machine Learning.
• Diseñar y mantener workflows de datos mediante Apache Airflow o herramientas de orquestación similares.
• Implementar y mantener pipelines de integración y despliegue continuo mediante Azure DevOps.
• Monitorizar el estado de los pipelines, la calidad de los datos y posibles desviaciones en los modelos mediante herramientas como Azure Monitor y Grafana.
• Trabajar con bases de datos relacionales como SQL Server y PostgreSQL para la explotación y consumo de los productos de datos.

Requisitos

• Más de 4 años de experiencia en desarrollo de software, Data Engineering o posiciones similares.
• Al menos 2 años de experiencia trabajando con frameworks Big Data y desarrollando pipelines de datos o Machine Learning preparados para entornos productivos.
• Experiencia sólida en Python y SQL.
• Experiencia trabajando con Databricks y Apache Spark.
• Experiencia con Apache Airflow o herramientas similares para la gestión y orquestación de workflows de datos.
• Experiencia trabajando con bases de datos relacionales, concretamente SQL Server y PostgreSQL.
• Experiencia implementando y manteniendo pipelines de CI/CD con Azure DevOps.
• Experiencia con herramientas de monitorización y alertas como Azure Monitor y Grafana, especialmente para el seguimiento de pipelines, calidad de datos y model drift.
• Experiencia trabajando en plataformas Cloud, específicamente Google Cloud Platform (GCP).
• Experiencia trabajando bajo metodologías Agile.
• Nivel de inglés fluido para desenvolverse en un entorno internacional y multicultural.

Valorable

• Experiencia o conocimientos de .NET.
• Experiencia trabajando con Kafka, Kubernetes o Snowflake.
• Conocimientos de bases de datos NoSQL como MongoDB, Elasticsearch o Cassandra.
• Familiaridad con conceptos relacionados con model serving y Feature Stores.
• Experiencia trabajando directamente con pipelines de inferencia de modelos de Machine Learning.
• Contribuciones a proyectos Open Source.

Ofrecemos

• Jornada completa y modalidad de trabajo híbrida en Barcelona.
• Contratación indefinida desde el primer momento.
• Retribución flexible.
• ticket restaurant, seguro médico y otros beneficios.
• Flexibilidad horaria.
• Formación continua y acceso a cursos y certificaciones.
• Trabajo dentro de equipos multidisciplinares junto a perfiles de Data Science, Data Engineering, Backend y DevOps.

Agap2 es una empresa que ofrece igualdad de oportunidades, por ello nos comprometemos a tratar todas las candidaturas por igual en función de sus capacidades, logros y experiencia. xkdbapo Animamos a cualquier persona a presentar su candidatura que será tratada con igualdad de oportunidades independientemente de su raza, nacionalidad, sexo, edad, discapacidad, orientación sexual, identidad de género o cualquier otra característica.