Data Platform Lead Engineer - Databricks, Airflow, AWS

Capital Empresarial Horizonte; Ciudad de México; Hybrid; MXN 900,000 - 1,300,000; Full time

Benefits offered by this job

Horario de Oficina

Esquema 100% nómina

Prestaciones de Ley

Prestaciones superiores

Job summary

Capital Empresarial Horizonte busca un Data Lead senior para liderar la arquitectura y desarrollo de la plataforma de datos a nivel corporativo en un esquema híbrido (CDMX/GDL). El candidato deberá dominar Databricks, Airflow, Python, SQL y AWS, y gestionar CI/CD con Harness/GitHub Actions/Azure DevOps.

Se valorará experiencia en gobernanza, calidad y masking de datos, Data Marketplace y integraciones API, así como monitoreo con Datadog.

Qualifications

• 10+ años de experiencia en Data Engineering / Data Platform.
• Hands-on en Databricks (Delta Lake, workflows, DAG).
• Experiencia con Apache Airflow / Astronomer.
• Python, SQL, dbt y AWS.
• CI/CD con Harness, GitHub Actions o Azure DevOps.
• Gobernanza de datos: linaje, contratos, metadatos.
• Calidad y masking de datos.
• Data Marketplace y APIs de integración.
• Monitoreo y observabilidad (Datadog).

Responsibilities

• Liderar la arquitectura, desarrollo e implementación de soluciones de Data Engineering y Data Platform a nivel empresarial.
• Construir y mantener workflows, DAGs y pipelines de procesamiento con Databricks (Delta Lake) y Apache Airflow / Astronomer.
• Desarrollar y optimizar modelos y transformaciones de datos usando Python, SQL, dbt sobre infraestructura en AWS.
• Diseñar e implementar pipelines automatizados de CI/CD utilizando Harness, GitHub Actions o Azure DevOps.
• Implementar estrategias y controles de gobernanza de datos, linaje, contratos de datos, metadatos, calidad de datos y técnicas de enmascaramiento.
• Arquitectar e integrar plataformas empresariales de datos y ecosistemas de Data Marketplace.
• Diseñar e implementar integraciones basadas en APIs con sistemas de entitlement (AccessCentral).
• Configurar, supervisar y mantener la observabilidad y monitoreo continuo de las plataformas con herramientas como Datadog.

Skills

Databricks

Airflow

Astronomer

Python

SQL

dbt

AWS

Data Governance

Data Quality

Data Masking

Data Marketplace

API Integrations

Observability

Tools

Harness

GitHub Actions

Azure DevOps

Job description

Capital Empresarial Horizonte busca un Data Lead senior para liderar la arquitectura y desarrollo de la plataforma de datos a nivel corporativo en un esquema híbrido (CDMX/GDL). El candidato deberá dominar Databricks, Airflow, Python, SQL y AWS, y gestionar CI/CD con Harness/GitHub Actions/Azure DevOps.

Se valorará experiencia en gobernanza, calidad y masking de datos, Data Marketplace y integraciones API, así como monitoreo con Datadog.