Data Engineer, Madrid

WayOps; Madrid; A distancia; EUR 50.000 - 70.000; Jornada completa

Descripción de la vacante

Una empresa líder en tecnología busca un Data Engineer para unirse a su equipo de Data AI. Este puesto se encargará de desarrollar código en PySpark, orquestar procesos y asegurar la calidad de los datos en proyectos de Analítica Avanzada. Se requiere experiencia en entornos Cloud, especialmente Azure, y habilidades en herramientas como Power BI y Databricks. El trabajo se desarrollará en remoto, preferentemente en horario de oficina.

Formación

• 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines con PySpark.
• Experiencia en entornos Cloud preferentemente Azure.
• Conocimientos en modelado de datos y orquestación de procesos.

Responsabilidades

• Desarrollar código PySpark para transformación de datos.
• Orquestar procesos y asegurar la calidad del dato.
• Colaborar en proyectos de Analítica Avanzada.

Conocimientos

PySpark

Azure

Data Factory

Power BI

ETL

Hadoop Ecosystem

Herramientas

Databricks

Visual Studio Code

Git

Descripción del empleo

Overview

En WayOps buscamos un perfil Data Engineer que quiera desarrollar su carrera profesional formando parte de un equipo Data AI de primer nivel y trabajando en proyectos cloud con las últimas tecnologías.

Responsabilidades

La persona seleccionada se incorporará dentro de nuestro equipo Data AI core, participando en múltiples proyectos de Analítica Avanzada para clientes nacionales e internacionales. Junto al Technical Lead y otros perfiles como Data Architects, Data Scientists o Data Visualizers, el Data Engineer deberá desarrollar código PySpark que permita la transformación de los datos siguiendo el paradigma medallion. Además, será responsable de la ingesta de datos, orquestación de procesos y garantizará la calidad del dato.

Requisitos y Conocimientos

El perfil a incorporar deberá contar con 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines de transformación de datos con tecnología PySpark, 1-2 años de experiencia en entornos Cloud preferentemente Azure y 1-2 años de experiencia en modelado de datos con herramientas como Lucidchart, orquestación de datos con herramientas como Data Factory y colaboración en el desarrollo de cuadros de mandos con herramientas como Power BI.

Se valorará experiencia previa en proyectos orientados a calidad del dato, así como experiencia en resolución y gestión de incidencias en entornos productivos, conocimientos y experiencia con CI / CD en Azure DevOps y conocimientos en Machine Learning.

Será necesario tener experiencia previa con tecnologías :

• Databricks (PySpark, Dataframes, Delta Tables, Unity Catalog, Databricks Connect)
• Azure (Data Factory, Databricks, Storage, SQL Databases)
• ETL (ER, Relational-model, Star-model, MDM)
• Azure DevOps (Boards)
• Analytics (PowerBI)
• Ecosistema Hadoop (HDFS, Map / Reduce, Spark, Hive)
• Herramientas (Visual Studio Code, Git)

Además se valorará positivamente contar con experiencia o conocimientos en :

• Azure (Event Hubs, IoTHub, CosmosDB, Application Insights)
• Azure DevOps (Pipelines, Repos, Test Plans, Artifacts)
• Machine Learning (sklearn, mllib, h2o, tensorflow, keras)
• Spark (GraphX GraphFrames, Structured Streaming, Scala, Optimización)
• Property Graphs (Neo4j+Cypher, Tinkerpop+Gremlin)

Contratación y Ubicación

La contratación será mediante contrato anual prorrogable como autónomo en jornada completa. El trabajo se desarrollará en remoto preferentemente dentro del horario de oficina del cliente para facilitar la coordinación con el resto del equipo. Banda salarial negociable en función de la experiencia aportada. Incorporación inmediata.