Senior Data Engineer - Ingestion & Integrations (Remote Latam)

Outlier; La Pampa; À distance; ARS 1 800 000 - 3 200 000; Plein temps

Résumé du poste

Outlier busca un Senior Data Engineer para diseñar y operar una plataforma de datos en AWS serverless, orquestada con Apache Airflow y gestionada como código.

El rol implica autonomía para definir arquitectura, construir pipelines confiables y aplicar buenas prácticas de FinOps y gobernanza de datos. Se trabajará con Snowflake, dbt y MWAA, priorizando costos y rendimiento.

Qualifications

• Más de 3 años de experiencia como Data Engineer en entornos cloud productivos.
• Conocimiento avanzado de AWS Serverless y Apache Airflow.
• Experiencia en pipelines, CI/CD, y gobernanza de datos.

Responsabilités

• Diseñar, construir y operar una plataforma de datos basada en AWS serverless y Airflow.
• Desarrollar DAGs de Airflow con idempotencia, reintentos y SLAs.
• Configurar MWAA, orquestar Glue, Lambda, ECS y Step Functions; usar dbt y dlt.
• Ingesta multi-fuente (REST/GraphQL, SharePoint, bases de datos) y mantener lakehouse en S3.

Connaissances

CI/CD

Outils

AWS serverless

Apache Airflow

Snowflake

dbt

Terraform

AWS CDK

CloudFormation

S3

Glue

Description du poste

Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina

Sobre el rol

Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.

La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.

Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.

Responsabilidades

• Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad.
• Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
• Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green.
• Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt.
• Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
• Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
• Modelar datos en Snowflake y dbt por capas, con tests y documentación.
• Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
• Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
• Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
• Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
• Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
• Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.

Requisitos

• +3 años de experiencia como Data Engineer en entornos cloud productivos.
• AWS serverless (excluyente, nivel avanzado):
  • Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS.
  • Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless.
  • Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS.
  • Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams).
  • Integración y APIs: API Gateway, AppSync.
  • Streaming: Kinesis Data Streams / Firehose, MSK Serverless.
  • Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager.
  • Observabilidad y costos: CloudWatch, FinOps y Cost Explorer.
• Apache Airflow (excluyente, nivel avanzado):
  • Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills.
  • Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators.
  • TaskFlow API, XComs, dynamic task mapping, task groups y assets.
  • MWAA en producción.
  • Testing de DAGs, parametrización por entorno, monitoreo y alertas.
• CI/CD y control de versiones (excluyente):
  • Git avanzado: rebase, merge, cherry-pick, resolución de conflictos e historial limpio.
  • Estrategias de branching (GitFlow, trunk-based, feature branches) y versionado semántico.
  • GitLab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge.
  • GitLab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos.
• Infraestructura como código:
  • Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes.
  • AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection.
  • Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar.
• Ingeniería de datos:
  • Snowflake: modelado, SQL avanzado y optimización de consultas.
  • dbt: modelado por capas, tests, documentación e integración con Cosmos.
  • Python para ingesta y automatización (boto3, APIs REST y GraphQL, procesamiento de archivos).
  • Spark / PySpark, incluyendo conocimiento de internals.
  • Parquet y Apache Iceberg sobre Glue Catalog.
  • Ingesta multi-fuente con dlt.
• Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes.

Nice-to-Have

• Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
• Criterio para elegir entre Glue y EMR como motor de procesamiento.
• Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
• FinOps de datos: pipelines de costos cloud y análisis de consumo.
• Nociones de Kafka (MSK) y catalogación de topics.

¿Qué ofrecemos en Darwoft?

• Contrato full-time en relación de dependencia con pago en ARS.
• Trabajo 100% remoto.
• Salario competitivo.
• Licencias legales y vacaciones.
• Días personales adicionales al año.
• Acceso a plataformas de aprendizaje.
• Tarjeta de beneficios y descuentos.
• Welcome kit.
• Programas de reintegros.
• Clases de inglés.
• Programa de referidos.
• Regalo de cumpleaños.
• Healthy Break.
• Celebraciones al estilo Darwoft: aniversarios, fiestas de fin de año, cumpleaños y actividades de integración.

Conocé esta y otras oportunidades en:

¿Este trabajo es un acierto o un fracaso?

Acerca de lo último Senior data engineer ingestion integrations remote latam Empleosen La Pampa !

Configurar alerta por correo electrónico:

• Sea descubierto por los mejores empleadores.
• Postúlate a empleos con un solo clic.
• Recibe recomendaciones laborales personalizadas.

Envíame este trabajo por correo electrónico

Por favor, espere mientras enviamos su solicitud.

En breve recibirá los detalles del trabajo por correo electrónico.

Reportar Trabajo

Motivo de la denuncia

Detalles adicionales (opcional)

Informe enviado. Gracias por sus comentarios.