Senior Data Engineer — Databricks & PySpark (Remote/Hybrid)

SDG Group España; Barcelona; Hybrid; EUR 45,000 - 75,000; Full time

Benefits offered by this job

Ticket restaurante

Ticket guardería

Ayuda al transporte

Seguro médico privado Mapfre

Job summary

SDG Group España busca un Data Engineer para impulsar la transformación data-driven de clientes líderes en Iberia. Integrarás equipos para diseñar pipelines end-to-end con Python y PySpark, desplegarás soluciones en entornos Big Data y colaborarás con perfiles senior para asegurar escalabilidad y rendimiento.

Desarrollarás arquitecturas de datos, trabajarás con Databricks y Data Lakes en nube (Azure/AWS/GCP) y aplicarás buenas prácticas de CI/CD mientras exploras tecnologías innovadoras.

Qualifications

• Más de 4 años de experiencia como Data Engineer en entornos Big Data.
• Experiencia sólida con Python y PySpark.
• Experiencia con Scala en entornos de datos.
• Experiencia trabajando con Databricks (imprescindible).
• Experiencia en procesamiento distribuido con Apache Spark.
• Conocimiento de arquitecturas de datos sobre Data Lake (modelado, particionado, optimización).
• Experiencia en entornos cloud (Azure, AWS o GCP).
• Se valorará conocimiento de Airflow o Databricks Workflows y Snowflake.

Responsibilities

• Desarrollarás pipelines de datos end-to-end con Python y PySpark, desde la ingesta hasta el procesamiento en entornos Big Data.
• Trabajarás con Databricks en la construcción y optimización de procesos de transformación de datos.
• Participarás en el diseño de arquitecturas y soluciones de datos, colaborando con perfiles más senior.
• Implementarás modelos de datos y transformaciones sobre Data Lakes, asegurando eficiencia y escalabilidad.
• Colaborarás en la definición de requerimientos técnicos para pipelines y procesos de datos.
• Probarás y aplicarás nuevas tecnologías del ecosistema Big Data y cloud en proyectos reales.

Skills

Python

PySpark

Scala

Databricks

Apache Spark

Data Lake

Azure

AWS

GCP

Airflow

Databricks Workflows

dbt

Snowflake

CI/CD

Inglés

Tools

Databricks

Snowflake

Airflow

dbt

Job description

SDG Group España busca un Data Engineer para impulsar la transformación data-driven de clientes líderes en Iberia. Integrarás equipos para diseñar pipelines end-to-end con Python y PySpark, desplegarás soluciones en entornos Big Data y colaborarás con perfiles senior para asegurar escalabilidad y rendimiento.

Desarrollarás arquitecturas de datos, trabajarás con Databricks y Data Lakes en nube (Azure/AWS/GCP) y aplicarás buenas prácticas de CI/CD mientras exploras tecnologías innovadoras.