Data Engineer · Semi Senior

Aviva; Ciudad de México; On-site; MXN 700,000 - 1,200,000; Full time

Job summary

AVIVA está revolucionando las finanzas en México con un banco phygital y un enfoque de IA para productos financieros. Buscamos ingeniero de datos para construir pipelines robustos en Python sobre GCP y orquestar procesos en Airflow, con foco en calidad de datos y observabilidad.

Trabajarás con BigQuery, Cloud Run/Functions y Pub/Sub, asegurando integraciones con APIs, SQL/NoSQL y pipelines end-to-end para entregar soluciones escalables y seguras.

Qualifications

• Experiencia en diseño y construcción de pipelines de datos batch e incremental.
• Conocimiento práctico de servicios de GCP (BigQuery, Cloud Storage, Cloud Run).
• Manejo de bases SQL y NoSQL, integración de APIs y archivos (SFTP).
• Capacidad para orquestar procesos con Airflow y asegurar SLA y recuperación.

Responsibilities

• Construir pipelines batch e incrementales utilizando Python y servicios administrados de GCP.
• Integrar APIs, bases SQL/NoSQL, archivos, SFTP y plataformas SaaS.
• Orquestar procesos con Airflow, diseñando dependencias, retries y SLAs.
• Diseñar cargas hacia BigQuery y almacenamiento en Google Cloud Storage.

Skills

Python

Airflow

BigQuery

SQL

GCP

NoSQL

SFTP

SaaS platforms

Tools

Cloud Run

Cloud Functions

Pub/Sub

CI/CD

dbt

Job description

¡Únete a AVIVA y forma parte de una empresa que está revolucionando las finanzas en México!

En AVIVA, estamos creando un banco phygital que combina la tecnología, inteligencia artificial y atención humana, para facilitar el acceso a productos financieros y generar oportunidades reales para todos los mexicanos.

Aquí no solo trabajas:

• Construir pipelines batch e incrementales utilizando Python y servicios administrados de GCP.
• Integrar APIs, bases SQL, NoSQL, archivos, SFTP y plataformas SaaS.
• Orquestar procesos mediante Apache Airflow y diseñar dependencias, retries, SLAs y recuperación.
• Diseñar cargas hacia BigQuery y almacenamiento en Google Cloud Storage.
• Desarrollar componentes con Cloud Run y Cloud Functions y utilizar Pub/Sub cuando un patrón event-driven sea apropiado.
• Diseñar estrategias de incrementalidad, deduplicación, idempotencia, late-arriving data y schema evolution.
• Implementar validaciones y controles de Data Quality antes y después de cargas.
• Construir observabilidad: logs útiles, métricas, alertas, freshness, volúmenes y mecanismos de diagnóstico.
• Gestionar errores, backfills y mecanismos de recuperación sin duplicar información.
• Optimizar consumo, almacenamiento y procesamiento en BigQuery.
• Aplicar buenas prácticas de seguridad, IAM, cuentas de servicio, secretos y acceso mínimo necesario.
• Implementar y mantener CI/CD, revisiones de código y prácticas de despliegue reproducibles.
• Documentar pipelines, contratos de datos, dependencias y runbooks.
• Dar soporte al ecosistema dbt y colaborar con Analytics en el diseño de las capas Silver y Gold.
• Participar activamente en incidentes de producción, análisis de causa raíz y acciones preventivas.