Senior Data Engineer — Databricks & PySpark (Remote/Hybrid)

SDG Group España; Barcelona; Híbrido; EUR 45.000 - 75.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Ticket restaurante

Ticket guardería

Ayuda al transporte

Seguro médico privado Mapfre

Descripción de la vacante

SDG Group España busca un Data Engineer para impulsar la transformación data-driven de clientes líderes en Iberia. Integrarás equipos para diseñar pipelines end-to-end con Python y PySpark, desplegarás soluciones en entornos Big Data y colaborarás con perfiles senior para asegurar escalabilidad y rendimiento.

Desarrollarás arquitecturas de datos, trabajarás con Databricks y Data Lakes en nube (Azure/AWS/GCP) y aplicarás buenas prácticas de CI/CD mientras exploras tecnologías innovadoras.

Formación

• Más de 4 años de experiencia como Data Engineer en entornos Big Data.
• Experiencia sólida con Python y PySpark.
• Experiencia con Scala en entornos de datos.
• Experiencia trabajando con Databricks (imprescindible).
• Experiencia en procesamiento distribuido con Apache Spark.
• Conocimiento de arquitecturas de datos sobre Data Lake (modelado, particionado, optimización).
• Experiencia en entornos cloud (Azure, AWS o GCP).
• Se valorará conocimiento de Airflow o Databricks Workflows y Snowflake.

Responsabilidades

• Desarrollarás pipelines de datos end-to-end con Python y PySpark, desde la ingesta hasta el procesamiento en entornos Big Data.
• Trabajarás con Databricks en la construcción y optimización de procesos de transformación de datos.
• Participarás en el diseño de arquitecturas y soluciones de datos, colaborando con perfiles más senior.
• Implementarás modelos de datos y transformaciones sobre Data Lakes, asegurando eficiencia y escalabilidad.
• Colaborarás en la definición de requerimientos técnicos para pipelines y procesos de datos.
• Probarás y aplicarás nuevas tecnologías del ecosistema Big Data y cloud en proyectos reales.

Conocimientos

Python

PySpark

Scala

Databricks

Apache Spark

Data Lake

Azure

AWS

GCP

Airflow

Databricks Workflows

dbt

Snowflake

CI/CD

Inglés

Herramientas

Databricks

Snowflake

Airflow

dbt

Descripción del empleo

SDG Group España busca un Data Engineer para impulsar la transformación data-driven de clientes líderes en Iberia. Integrarás equipos para diseñar pipelines end-to-end con Python y PySpark, desplegarás soluciones en entornos Big Data y colaborarás con perfiles senior para asegurar escalabilidad y rendimiento.

Desarrollarás arquitecturas de datos, trabajarás con Databricks y Data Lakes en nube (Azure/AWS/GCP) y aplicarás buenas prácticas de CI/CD mientras exploras tecnologías innovadoras.