Ingegnere dei dati (f / m)

Scalian Spain; Madrid; Presencial; EUR 40.000 - 60.000; Jornada completa

Descripción de la vacante

Una empresa de tecnología especializada está buscando un Data Engineer para unirse a su equipo en Madrid. El candidato ideal tendrá al menos 2 años de experiencia con Apache Airflow y Spark/Scala en Databricks, además de familiaridad con bases de datos relacionales y ecosistemas de datos en la nube. El trabajo implica orquestar y optimizar pipelines, asegurando la calidad y la seguridad de los datos.

Formación

• Experiencia de al menos 2 años con Apache Airflow y creación de DAGs.
• Experiencia de al menos 2 años con Spark / Scala en Databricks.
• Familiaridad con ecosistemas de datos en la nube como AWS, GCP y Azure.

Responsabilidades

• Orquestar y optimizar pipelines de datos.
• Asegurar el cumplimiento de políticas de seguridad y calidad de datos.
• Integrar herramientas como Airflow, Spark y otras tecnologías.

Conocimientos

Apache Airflow

Spark / Scala

SQL

Docker

Kubernetes

Herramientas

Databricks

PostgreSQL

MySQL

AWS

GCP

Azure

Descripción del empleo

Ampliamos nuestro equipo!

¿Buscas un nuevo reto donde desarrollar tu carrera y aprender nuevas tecnologías?

Scalian es una empresa de más de 6.000 personas con una dimensión internacional, con oficinas en Europa y América del Norte. Estamos especializados en dar servicios a diferentes clientes enfocados en Data, Cloud e Inteligencia Artificial.

¿Buscamos un / a Data Engineer para trabajar dentro del ecosistema de Datalake SCIB, orquestando y optimizando pipelines que alimentan sistemas críticos de negocio. Integrar herramientas como Airflow, Spark / Scala en Databricks, KOLT framework, Hive y AWS Lambda. Y asegurar el cumplimiento de políticas de seguridad, gobierno y calidad de datos corporativas.

Experiencia de al menos 2 años con Apache Airflow, creación de DAGs, operadores, sensores, hooks, conexiones, etc.

Experiencia de al menos 2 años con Spark / Scala en Databricks : desarrollo de procesos ETL distribuidos y optimización de rendimiento.

SQL y experiencia con bases de datos relacionales (PostgreSQL, MySQL, etc.).

Familiaridad con ecosistemas de datos en la nube (AWS, GCP, Azure) y servicios como S3, BigQuery, Redshift, etc.

Docker y Kubernetes (para despliegue y ejecución de Airflow en entornos distribuidos).