Senior Data Engineer — Remote/Hybrid, Cloud Data Pipelines

Paradigma Digital; Pozuelo de Alarcón; Híbrido; EUR 60.000 - 90.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Seguro médico 100% subvencionado

Retribución flexible (Edenred)

25 días de vacaciones

Descripción de la vacante

Paradigma Digital busca un Senior Data Engineer para unirse a su área de datos en un proyecto basado en cloud. Se encargará de diseñar e implementar pipelines de datos, gestionar el ciclo de vida y la calidad de los datos, y optimizar almacenamiento y rendimiento en AWS, Azure o GCP.

Se valorará experiencia con Airflow, Kafka y procesos de ingestión batch y streaming. Ofrecemos trabajo remoto o híbrido, Buddy de integración, formación continua y beneficios como seguro médico y vacaciones; forma

Formación

• Puestos de Senior Data Engineer con foco en tuberías de datos y ciclo de vida de datos.
• Experiencia en desarrollo y optimización de pipelines y procesamiento de datos en cloud.

Responsabilidades

• Diseñar e implementar pipelines de datos: crear y estructurar procesos para ingestión, procesamiento y transformación de datos.
• Recolección y almacenamiento de datos: implementar soluciones para capturar y almacenar datos de diversas fuentes.
• Limpieza y preprocesamiento de datos: asegurar que los datos estén limpios para análisis.
• Optimización de bases de datos: ajustar bases de datos para rendimiento y escalabilidad.
• Integración de datos: facilitar la correcta integración de datos de distintas fuentes.
• Mantenimiento de sistemas de datos: asegurar funcionamiento continuo y eficiente.
• Monitorización y ajuste de flujos de datos: supervisar pipelines y ajustar para rendimiento y confiabilidad.
• Calidad del dato: asegurar precisión, consistencia y fiabilidad.
• Gestión del ciclo de vida del dato: gestionar desde creación hasta archivado y eliminación.
• Orquestación de pipelines: Airflow, AWS Step Functions, o Google Cloud Composer para automatización.
• Ingesta de datos Batch y/o Streaming: usar Kafka, CDC y AWS Kinesis.

Conocimientos

Cloud

Python development

Data pipelines

Herramientas

Apache Airflow

Kafka

AWS

Azure

GCP

Descripción del empleo

Paradigma Digital busca un Senior Data Engineer para unirse a su área de datos en un proyecto basado en cloud. Se encargará de diseñar e implementar pipelines de datos, gestionar el ciclo de vida y la calidad de los datos, y optimizar almacenamiento y rendimiento en AWS, Azure o GCP.

Se valorará experiencia con Airflow, Kafka y procesos de ingestión batch y streaming. Ofrecemos trabajo remoto o híbrido, Buddy de integración, formación continua y beneficios como seguro médico y vacaciones; forma