Ingegnere Dati

Scalian Spain; Madrid; Presencial; EUR 35.000 - 50.000; Jornada completa

Descripción de la vacante

Una empresa internacional de servicios tecnológicos busca un Data Engineer para optimizar pipelines en el ecosistema de Datalake. Se requiere experiencia con Apache Airflow, Spark/Scala en Databricks y conocimientos de SQL y servicios en la nube. La posición está ubicada en Madrid y ofrece un entorno de trabajo dinámico para desarrollar tu carrera tecnológica.

Formación

• Mínimo 2 años de experiencia con Apache Airflow.
• Experiencia de al menos 2 años en Spark/Scala en Databricks.
• Familiaridad con bases de datos relacionales.
• Conocimiento de servicios en la nube.

Responsabilidades

• Orquestar y optimizar pipelines de datos.
• Desarrollar procesos ETL distribuidos.
• Cumplir con políticas de seguridad y calidad de datos.

Conocimientos

Apache Airflow

Spark

Scala

SQL

Docker

Kubernetes

Herramientas

Databricks

PostgreSQL

MySQL

AWS

GCP

Azure

Descripción del empleo

Ampliamos nuestro equipo!

¿Buscas un nuevo reto donde desarrollar tu carrera y aprender nuevas tecnologías?

Scalian es una empresa de más de 6.000 personas con una dimensión internacional, con oficinas en Europa y América del Norte. Estamos especializados en dar servicios a diferentes clientes enfocados en Data, Cloud e Inteligencia Artificial.

¿Buscamos un / a Data Engineer para trabajar dentro del ecosistema de Datalake SCIB, orquestando y optimizando pipelines que alimentan sistemas críticos de negocio. Integrar herramientas como Airflow, Spark / Scala en Databricks, KOLT framework, Hive y AWS Lambda. Y asegurar el cumplimiento de políticas de seguridad, gobierno y calidad de datos corporativas.

Experiencia de al menos 2 años con Apache Airflow, creación de DAGs, operadores, sensores, hooks, conexiones, etc.

Experiencia de al menos 2 años con Spark / Scala en Databricks : desarrollo de procesos ETL distribuidos y optimización de rendimiento.

SQL y experiencia con bases de datos relacionales (PostgreSQL, MySQL, etc.).

Familiaridad con ecosistemas de datos en la nube (AWS, GCP, Azure) y servicios como S3, BigQuery, Redshift, etc.

Docker y Kubernetes (para despliegue y ejecución de Airflow en entornos distribuidos).