Data Engineer

Open Sistemas; Madrid; Híbrido; EUR 28.000 - 36.000; Jornada completa

Descripción de la vacante

Open Sistemas busca un/a Data Engineer junior para crecer en entornos de datos masivos y críticos, con procesos distribuidos en producción y un equipo que cuida la calidad del dato.

Empezarás rodeado/a por el equipo y, poco a poco, liderarás tus procesos de extremo a extremo con autonomía. Hybrid Madrid, 2 días presenciales, resto remoto.

Formación

• Conocimiento práctico de Spark (Scala y PySpark) y SQL.
• Experiencia básica en Linux y scripting Bash.
• Conocimientos de herramientas de orquestación o planificadores es un plus.

Responsabilidades

• Entender la necesidad de negocio y convertirla en especificaciones y algoritmos de cruce y tratamiento de datos.
• Desarrollar procesos distribuidos sobre Spark (Scala y PySpark).
• Cuidar la calidad con tests automáticos y validación del dato a la entrada y a la salida.
• Acompañar tus desarrollos hasta producción: versiones, subidas entre entornos, monitorización e incidencias.
• Documentar bien lo que construyes.

Conocimientos

Scala

Python PySpark

SQL

Linux

Bash scripting

Testing automatizados

Herramientas

Cloudera

Impala

Jenkins

Control-M

Descripción del empleo

Buscamos un/a Data Engineer junior que quiera crecer en uno de los entornos de datos más grandes y exigentes: procesos distribuidos en producción, volúmenes masivos y un equipo que cuida la calidad del dato.

• Entender la necesidad de negocio y convertirla en especificaciones y algoritmos de cruce y tratamiento de datos
• Desarrollar procesos distribuidos sobre Spark (Scala y PySpark)
• Cuidar la calidad con tests automáticos y validación del dato a la entrada y a la salida
• Acompañar tus desarrollos hasta producción: versiones, subidas entre entornos, monitorización e incidencias
• Documentar bien lo que construyes

Empezarás arropado/a por el equipo y, poco a poco, llevarás tus procesos de extremo a extremo con autonomía.

• Al menos 1 año con Scala
• Unos 2 años con Python (PySpark), Spark y SQL
• Soltura en Linux y scripting bash
• Suma si has trabajado con Cloudera, Impala, Jenkins o planificadores tipo Control-M

Modelo híbrido: 2 días presenciales en Madrid y el resto en remoto (imprescindible vivir en Madrid o alrededores)

Proyecto estable, de largo recorrido y con mucho que aprender