Azure Databricks Data Engineer

Bluetab, an IBM Company; Spain (TX); Hybrid; USD 55,000 - 83,000; Full time

Benefits offered by this job

Contrato indefinido

Teletrabajo flexible

Tarjeta restaurante

Seguro médico

Formación continua

Retribución flexible

25 días de vacaciones

Job summary

Bluetab, an IBM Company, busca un Data Engineer con 4-5 años de experiencia para diseñar y optimizar pipelines de datos en Spark/PySpark sobre Databricks, principalmente en entornos Azure, con posibilidad de proyectos a nivel nacional e internacional.

Se requiere dominio de SQL avanzado y experiencia en arquitecturas Data Lakehouse, plus experiencia en Terraform/Airflow y entornos Cloud. Ofrecemos contrato indefinido y teletrabajo flexible desde Madrid o hubs.

Qualifications

• 4-5 años de experiencia consolidada en Data Engineering.
• Dominio de Scala, Python o PySpark para procesamiento distribuido.
• Experiencia con Databricks y arquitecturas Data Lakehouse.
• Conocimiento avanzado de SQL y modelado de datos escalables.
• Despliegues y automatización con Terraform, Airflow u similares.
• Familiaridad con entornos Cloud.

Responsibilities

• Desarrollar y optimizar pipelines de datos en Spark o PySpark sobre Databricks.
• Diseñar arquitecturas Data Lake y Data Warehouse en entornos Cloud (Azure principal).
• Transformar datos a gran escala aplicando procesamiento distribuido.
• Optimizar queries y almacenamiento en Databricks para eficiencia de datos.
• Integrar múltiples fuentes de datos y garantizar su calidad y trazabilidad.
• Colaborar con equipos multidisciplinares para mejora continua.

Skills

Scala

Python

PySpark

SQL

Databricks

Terraform

Airflow

Cloud

Big Data

Tools

Databricks

Spark

Azure

AWS

GCP

Job description

Bluetab, an IBM Company. certificados ¡Great Place to Work & Best Work to Place! como una de las mejores compañías para trabajar.

Una compañía muy techie que nos ha llevado a ser el brazo fuerte de IBM en Data, Cloud, ML & IA y donde, para empresas clave de diversos sectores, ayudamos a acelerar y optimizar estrategias en plataformas de datos y en la nube, sacando al máximo las ventajas de su arquitectura y entornos de desarrollo.

Dentro de nuestra línea estratégica de Cloud Native estamos buscando apasionados/as del Cloud Azure (somos Databricks & Gold Microsoft Partner) para participar en proyectos a nivel nacional e internacional donde podrás ponerte a prueba al máximo.

En Bluetab, an IBM Company, llevamos la ingeniería de datos al siguiente nivel. Buscamos un Data Engineer con al menos 4-5 años de experiencia consolidada, que domine Scala, Python o PySpark, desarollando y ejecutando procesos Spark, o sobre Databricks en entornos Cloud. Si te apasiona el mundo del Big Data, disfrutas enfrentándote a retos complejos y te encanta optimizar pipelines de datos a gran escala, esta es tu oportunidad para unirte a un equipo donde la innovación, la escalabilidad y la eficiencia son nuestra hoja de ruta.

Lo que harás en el día a día

• Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark desarrollando y ejecutando procesos en Spark, o sobre Databricks, garantizando rendimiento, calidad y escalabilidad.
• Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud (Azure mayormente o sino en entornos AWS o GCP).
• Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
• Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.
• Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.
• Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformación y explotación de datos.

Lo que buscamos en ti

• Sólida experiencia en desarrollo con Scala o Python o PySpark sobre Spark para procesamiento distribuido.
• Experiencia con Databricks y conocimiento en arquitecturas Data Lakehouse.
• Conocimiento en SQL avanzado, optimización de queries y modelos de datos escalables.
• Experiencia en despliegues y automatización con herramientas como Terraform, Airflow o similares.
• Familiaridad con entornos Cloud.
• Mentalidad analítica y enfoque en la eficiencia, optimización y escalabilidad de procesos de datos.
• Actitud colaborativa y pasión por la innovación, trabajando en equipo para resolver desafíos complejos.

Valorable:

• Experiencia en Apache Iceberg o Apache Flink.

Ejemplo de lo que hacemos en Bluetab:

• Databricks sobre Azure - Una perspectiva de arquitectura

Ahora viene lo bueno por ser bluetaber… ¿que te ofrecemos?

• Contrato indefinido con salario competitivo acorde a tu experiencia y conocimientos técnicos.
• Teletrabajo flexible, con la opción de trabajar desde nuestra sede en Madrid o en nuestros Hubs de Alicante, Barcelona, Bilbao y Málaga.
• Horarios flexibles adaptados a tu vida personal, y jornada intensiva los viernes y en los meses de verano (julio y agosto).
• 23 días de vacaciones para disfrutar y desconectar.
• Tarjeta restaurante como beneficio social adicional.
• Seguro médico y póliza dental con una amplia cobertura.
• Plan de retribución flexible: Transporte y Guardería.
• Formación continua gamificada con acceso a más de 1900 cursos y certificaciones oficiales.
• Programa de desarrollo de carrera. ¡Serás el dueño de tu crecimiento!
• Un extra de 50€ de regalo en el mes de tu cumpleaños, para celebrarte.

Consideramos que la diversidad es enriquecedora y queremos velar por la inclusión e iguald a oportunidades, por lo que contamos con un Plan de Igualdad y un Código Ético que recoge estos principios para garantizar la no discriminación de nuestras colaboradoras y colaboradores por cuestión de raza, color, nacionalidad, origen social, edad, sexo, estado civil, orientación sexual, ideología, opiniones políticas, religión o cualquier otra condición personal, física o social.

¿Listo/a para impulsar tu carrera en Data Engineering?

Si buscas un entorno desafiante, lleno de innovación y en constante evolución este es tu sitio.

¡Inscríbete y da el siguiente paso en tu carrera!