Data Engineer

Aldia; Madrid; Presencial; EUR 40.000 - 80.000; Jornada completa

Descripción de la vacante

Una empresa multinacional busca un/a Data Engineer para unirse a su equipo en Madrid. En este emocionante rol, serás responsable de diseñar e implementar soluciones de datos que respalden los requisitos comerciales, integrando y transformando datos de múltiples fuentes. Trabajarás en estrecha colaboración con equipos de desarrollo y Data Science, optimizando pipelines de aprendizaje automático y asegurando la escalabilidad y seguridad de las aplicaciones de datos. Si tienes pasión por la tecnología y deseas contribuir a proyectos innovadores en el ámbito de la consultoría tecnológica, esta es una oportunidad que no querrás perderte.

Servicios

Contrato Indefinido

Plan de Carrera

Formación

• Experiencia en la construcción de Data Lakes y procesamiento de datos.
• Conocimientos sólidos en SQL, Python, Spark y herramientas de datos.

Responsabilidades

• Diseñar e implementar soluciones de datos escalables y seguras.
• Colaborar con equipos de desarrollo y Data Science para optimizar pipelines.

Conocimientos

SQL

Python

Scala

Spark

PySpark

Procesamiento de datos

Resolución de problemas de procesamiento

Conocimiento de estándares de seguridad de datos

Herramientas

DataBricks

DataFactory

SQL Server

MongoDB

ElasticSearch

DeltaLake

Descripción del empleo

ALDIA es una multinacional con sede central en Londres y con presencia en algunos de los principales países de la Unión Europea (Inglaterra, Suecia, España, Francia y Alemania). Nos especializamos en la consultoría tecnológica y de ingeniería. Nuestro core de actividad se centra en las áreas claves de las industrias de Seguros, Finanzas, Comunicación, Infraestructura, Multimedia, Entretenimiento, Automoción, Ferroviario, Turbinas Eólicas y Oil & Gas.

ALDIA trabaja con su propio grupo de consultores para mejorar la calidad, crear estabilidad, minimizar riesgos y aportar soluciones tecnológicas e innovadoras formando parte de todas las fases del ciclo completo de vida de los procesos incorporando la metodología ágil en cada uno de ellos.

En la actualidad, estamos buscando un/a Data Engineer para que se incorpore a nuestro equipo de consultores de forma indefinida y que trabaje directamente con nuestro cliente editorial de investigaciones científicas.

¿Qué buscamos?

Un/a Data Engineer para realizar las siguientes funciones:

1. Comprender y promover los mejores marcos y soluciones de datos, estándares técnicos y tecnologías clave, para respaldar de manera efectiva los requisitos comerciales existentes y futuros.
2. Comprender los requisitos funcionales para definir los mejores modelos de datos y flujos de datos entre las aplicaciones, servicios, almacenamientos de datos y mecanismos de sincronización.
3. Apoyar a los diferentes equipos de desarrollo de SW en el modelado, diseño, construcción, evolución y desmantelamiento de sus aplicaciones data-intensive y modelos de datos.
4. Integrar, transformar y consolidar datos de varios sistemas de datos estructurados y no estructurados en estructuras adecuadas para crear soluciones de análisis.
5. Procurar que las aplicaciones/procesos de datos sean escalables, fiables, seguros, extensibles, trazables, disponibles y gestionables.
6. Diseñar, implementar, monitorear y optimizar nuestras plataformas de datos.
7. Trabajar en estrecha colaboración con los arquitectos de TI para proporcionar soluciones de datos generales consistentes y confiables para todo el ecosistema de aplicaciones.
8. Crear una asociación con equipos Scrum y POs, entendiendo la aplicación y los requisitos comerciales, y ayudándolos a comprender los datos a través de la exploración, la construcción y el mantenimiento de pipelines seguras para el procesamiento de datos.
9. Colaborar estrechamente con el equipo de Data Science y Machine Learning para mejorar el rendimiento de nuestras pipelines de aprendizaje automático.
10. Crear modelos y prototipos que validen tus ideas, antes de llevarlas al equipo de desarrollo.
11. Crear y mantener actualizados los documentos que describen la estrategia de datos de su dominio de aplicaciones, así como todas las pautas y estándares relevantes.

Requisitos

• SQL, Python o Scala.
• Spark y PySpark.
• Conocimientos del procesamiento paralelo y los patrones de arquitectura de datos.
• Conocimientos sólidos sobre DataBricks, DataFactory, SQL Server, MongoDB.
• Se valora ElasticSearch y DeltaLake.
• Experiencia en la construcción de Data Lakes.
• Experiencia en procesamiento de datos: ingesta y transformación de datos, procesamiento batch, procesamiento de transmisión de datos, procesamiento distribuido, monitoreo, optimización, registro.
• Experiencia en la resolución de problemas de procesamiento y almacenamiento de datos.
• Conocimiento de los estándares de seguridad de datos.
• Conocimiento del diseño de la capa de servidor: esquema en estrella, dimensiones, carga incremental, tiendas.
• Conocimiento de las estructuras físicas de almacenamiento de datos: compresión, particionamiento, fragmentación, redundancia, distribuciones, archivado.

Ventajas

• Contrato Indefinido
• Plan de Carrera