Senior Data Engineer - AWS, DataOps & Big Data (Remote)

TECDATA ENGINEERING; España; A distancia; EUR 60.000 - 90.000; Jornada completa

Descripción de la vacante

TECDATA ENGINEERING busca un Data Engineer para diseñar, desarrollar y mantener pipelines de datos escalables, fiables, tanto batch como en tiempo real, en un entorno remoto.

Trabajará en Data Warehouses y arquitecturas Lakehouse, automatizando despliegues con CI/CD, y aplicando gobernanza y trazabilidad de datos, con observabilidad mediante CloudWatch y Grafana.

Se valorará experiencia adicional en Docker, Kubernetes o ECS y en gobernanza de datos y seguridad (RGPD).

Formación

• Más de 5 años de experiencia como Data Engineer.
• Experiencia avanzada en Python, SQL y modelado de datos (Dimensional, Normalizado y Lakehouse).
• Experiencia con Spark, Airflow, DBT y AWS (Glue, EMR, Redshift, Athena, S3, Lambda y Kinesis).
• Kafka o arquitecturas Event-Driven.
• CI/CD (GitHub Actions, GitLab CI, Jenkins o CircleCI).
• CloudFormation o AWS CDK.
• Grafana y CloudWatch.
• Redshift o Snowflake.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos escalables y fiables, tanto batch como en tiempo real.
• Diseñar y optimizar modelos de datos, Data Warehouses y arquitecturas Lakehouse.
• Automatizar procesos de integración y despliegue mediante CI/CD.
• Garantizar la calidad, integridad, gobernanza y trazabilidad de los datos.
• Implementar soluciones de monitorización y observabilidad utilizando CloudWatch y Grafana.
• Gestionar infraestructura como código (IaC) para plataformas de datos.
• Optimizar el rendimiento de pipelines, consultas y plataformas de datos.
• Resolver incidencias complejas y realizar análisis de causa raíz.
• Colaborar con equipos de Data Science, Analytics e Ingeniería para desarrollar soluciones de datos robustas, seguras y escalables.
• Documentar arquitecturas, procesos y flujos de datos.

Conocimientos

Python

SQL

Data modeling

Apache Spark

Apache Airflow

DBT

AWS

Kafka

CI/CD

CloudFormation

Grafana

Redshift

Herramientas

AWS Glue

AWS EMR

AWS Redshift

AWS Athena

AWS S3

AWS Lambda

Kinesis

Kafka

GitHub Actions

GitLab CI

Jenkins

CircleCI

CloudWatch

Grafana

Terraform

CloudFormation

AWS CDK

Docker

Kubernetes

ECS

Descripción del empleo

TECDATA ENGINEERING busca un Data Engineer para diseñar, desarrollar y mantener pipelines de datos escalables, fiables, tanto batch como en tiempo real, en un entorno remoto.

Trabajará en Data Warehouses y arquitecturas Lakehouse, automatizando despliegues con CI/CD, y aplicando gobernanza y trazabilidad de datos, con observabilidad mediante CloudWatch y Grafana.

Se valorará experiencia adicional en Docker, Kubernetes o ECS y en gobernanza de datos y seguridad (RGPD).