Azure Databricks Data Engineer: Scale Big Data Pipelines

Bluetab, an IBM Company; Spain (TX); Hybrid; USD 55,000 - 83,000; Full time

Benefits offered by this job

Contrato indefinido

Teletrabajo flexible

Tarjeta restaurante

Seguro médico

Formación continua

Retribución flexible

25 días de vacaciones

Job summary

Bluetab, an IBM Company, busca un Data Engineer con 4-5 años de experiencia para diseñar y optimizar pipelines de datos en Spark/PySpark sobre Databricks, principalmente en entornos Azure, con posibilidad de proyectos a nivel nacional e internacional.

Se requiere dominio de SQL avanzado y experiencia en arquitecturas Data Lakehouse, plus experiencia en Terraform/Airflow y entornos Cloud. Ofrecemos contrato indefinido y teletrabajo flexible desde Madrid o hubs.

Qualifications

• 4-5 años de experiencia consolidada en Data Engineering.
• Dominio de Scala, Python o PySpark para procesamiento distribuido.
• Experiencia con Databricks y arquitecturas Data Lakehouse.
• Conocimiento avanzado de SQL y modelado de datos escalables.
• Despliegues y automatización con Terraform, Airflow u similares.
• Familiaridad con entornos Cloud.

Responsibilities

• Desarrollar y optimizar pipelines de datos en Spark o PySpark sobre Databricks.
• Diseñar arquitecturas Data Lake y Data Warehouse en entornos Cloud (Azure principal).
• Transformar datos a gran escala aplicando procesamiento distribuido.
• Optimizar queries y almacenamiento en Databricks para eficiencia de datos.
• Integrar múltiples fuentes de datos y garantizar su calidad y trazabilidad.
• Colaborar con equipos multidisciplinares para mejora continua.

Skills

Scala

Python

PySpark

SQL

Databricks

Terraform

Airflow

Cloud

Big Data

Tools

Databricks

Spark

Azure

AWS

GCP

Job description

Bluetab, an IBM Company, busca un Data Engineer con 4-5 años de experiencia para diseñar y optimizar pipelines de datos en Spark/PySpark sobre Databricks, principalmente en entornos Azure, con posibilidad de proyectos a nivel nacional e internacional.

Se requiere dominio de SQL avanzado y experiencia en arquitecturas Data Lakehouse, plus experiencia en Terraform/Airflow y entornos Cloud. Ofrecemos contrato indefinido y teletrabajo flexible desde Madrid o hubs.