Senior Data Engineer (Databricks & PySpark)

SDG Group España; Barcelona; Hybrid; EUR 45.000 - 75.000; Vollzeit

Benefits dieser Stelle

Ticket restaurante

Ticket guardería

Ayuda al transporte

Seguro médico privado Mapfre

Zusammenfassung

SDG Group España busca un Data Engineer para impulsar la transformación data-driven de clientes líderes en Iberia. Integrarás equipos para diseñar pipelines end-to-end con Python y PySpark, desplegarás soluciones en entornos Big Data y colaborarás con perfiles senior para asegurar escalabilidad y rendimiento.

Desarrollarás arquitecturas de datos, trabajarás con Databricks y Data Lakes en nube (Azure/AWS/GCP) y aplicarás buenas prácticas de CI/CD mientras exploras tecnologías innovadoras.

Qualifikationen

• Más de 4 años de experiencia como Data Engineer en entornos Big Data.
• Experiencia sólida con Python y PySpark.
• Experiencia con Scala en entornos de datos.
• Experiencia trabajando con Databricks (imprescindible).
• Experiencia en procesamiento distribuido con Apache Spark.
• Conocimiento de arquitecturas de datos sobre Data Lake (modelado, particionado, optimización).
• Experiencia en entornos cloud (Azure, AWS o GCP).
• Se valorará conocimiento de Airflow o Databricks Workflows y Snowflake.

Aufgaben

• Desarrollarás pipelines de datos end-to-end con Python y PySpark, desde la ingesta hasta el procesamiento en entornos Big Data.
• Trabajarás con Databricks en la construcción y optimización de procesos de transformación de datos.
• Participarás en el diseño de arquitecturas y soluciones de datos, colaborando con perfiles más senior.
• Implementarás modelos de datos y transformaciones sobre Data Lakes, asegurando eficiencia y escalabilidad.
• Colaborarás en la definición de requerimientos técnicos para pipelines y procesos de datos.
• Probarás y aplicarás nuevas tecnologías del ecosistema Big Data y cloud en proyectos reales.

Kenntnisse

Python

PySpark

Scala

Databricks

Apache Spark

Data Lake

Azure

AWS

GCP

Airflow

Databricks Workflows

dbt

Snowflake

CI/CD

Inglés

Tools

Databricks

Snowflake

Airflow

dbt

Jobbeschreibung

En SDG Group llevamos más de 30 años convirtiendo datos en impacto real. Somos una consultora global 100% especializada en Data, Analytics e Inteligencia Artificial, referente del sector según Gartner, Penteo y Everest Group.

Somos especialistas, y eso nos da una profundidad técnica y un conocimiento de negocio que marcan la diferencia en la transformación data-driven de nuestros clientes: más de 1.000 proyectos desarrollados anualmente, equipos altamente especializados y soluciones que llegan a producción.

Todo ello sustentado en nuestro Triple Expertise: visión de negocio, conocimiento tecnológico profundo y alianzas tecnológicas (Microsoft, Databricks, Snowflake, AWS, GCP, entre otras). Una combinación que nos ha llevado a trabajar con clientes del IBEX-35 y Fortune 500, contando con presencia global y más de 2.000 personas en todo el mundo.

Si quieres crecer en el mundo del dato, este es el lugar.

¿Cómo será tu día a día?

• Desarrollarás pipelines de datos end-to-end con Python y PySpark, desde la ingesta hasta su procesamiento en entornos Big Data.
• Trabajarás con Databricks en la construcción y optimización de procesos de transformación de datos.
• Participarás en el diseño de arquitecturas y soluciones de datos, colaborando con perfiles más senior.
• Implementarás modelos de datos y transformaciones sobre Data Lakes, asegurando eficiencia y escalabilidad.
• Colaborarás en la definición de requerimientos técnicos para pipelines y procesos de datos.
• Probarás y aplicarás nuevas tecnologías del ecosistema Big Data y cloud en proyectos reales.

¿Qué te hará triunfar en esta posición?

• +4 años de experiencia como Data Engineer en entornos Big Data.
• Experiencia sólida trabajando con Python y PySpark.
• Experiencia con Scala en entornos de datos.
• Experiencia trabajando con Databricks (imprescindible).
• Experiencia en procesamiento distribuido con Apache Spark.
• Conocimiento de arquitecturas de datos sobre Data Lake (modelado, particionado, optimización).
• Experiencia en entornos cloud (Azure, AWS o GCP).

También valoramos:

• Experiencia con orquestadores como Airflow o Databricks Workflows.
• Conocimiento de herramientas como dbt, Snowflake o similares.
• Experiencia con CI/CD y buenas prácticas de desarrollo.
• Se valorará positivamente nivel fluido de Inglés.

Aquí no somos una empresa más... ¡somos un equipo que va a por todas!

• La tecnología y los datos son nuestra esencia: No solo trabajamos con lo último del mercado, sino que te formaremos para que domines las herramientas más innovadoras en proyectos punteros y de nueva construcción con alto impacto. Además, contamos con un área de innovación donde exploramos nuevas alianzas y centros de I+D.
• Crecimiento y plan de carrera: Contarás con revisiones salariales semestrales o anuales, según la categoría profesional, y un desarrollo basado en meritocracia, con posibilidad de evolucionar hacia un camino más técnico o hacia posiciones de liderazgo y management.
• Aprendizaje y trabajo en equipo: Formarás parte de equipos con amplia experiencia tanto técnica como de negocio, en un entorno colaborativo donde podrás apoyarte en otros profesionales, aprender de referentes y desarrollarte constantemente.
• Diversidad con propósito: La adhesión a la Carta de la Diversidad en España refleja el compromiso con los principios europeos de igualdad, diversidad e inclusión en el entorno laboral. Diferentes perspectivas, mejores soluciones.
• Posición estable y con proyección: tendrás la oportunidad de construir tu carrera a largo plazo, en proyectos de Data & Analytics que generan impacto de verdad.
• Flexibilidad: Modelo de trabajo híbrido adaptado a las necesidades del equipo, con posibilidad de modalidad 100% remoto según la ubicación.
• Jornada intensiva los viernes y durante julio y agosto.
• Salario acorde a tu formación y experiencia.
• Apoyo económico para el teletrabajo.
• Formación continua: certificaciones oficiales, conferencias, workshops y cursos.
• Retribución flexible: ticket restaurante, ticket guardería, ayuda al transporte y seguro médico privado con Mapfre, extensible a tu familia.

Sigue descubriendo quiénes somos:

• En nuestra web corporativa.
• Nuestras publicaciones y contenido en Medium.
• En nuestras redes sociales: Instagram, LinkedIn y YouTube.