Senior Data Engineer - Automated Pipelines & Analytics

Caramel Point; Neuquén; On-site; ARS 1,339,000 - 2,009,000; Full time

Job summary

Caramel Point busca un Senior Data Engineer para diseñar, construir y operar una plataforma de datos basada en AWS serverless, orquestada con Airflow y gestionada como código. Se valoran pipelines confiables, trazables y escalables, con enfoque en gobernanza y costos eficientes.

El candidato tendrá autonomía para definir arquitectura, seleccionar servicios y establecer buenas prácticas en toda la plataforma, con experiencia en MWAA, dbt, Lake Formation y Snowflake.

Qualifications

• +3 años de experiencia como Data Engineer en entornos cloud productivos.
• AWS serverless (excluyente, nivel avanzado).
• Apache Airflow (excluyente, nivel avanzado).
• CI/CD y control de versiones (excluyente).
• Infraestructura como código: Terraform y/o AWS CDK/CloudFormation.
• Ingesta multi‑fuente con dlt y Python.

Responsibilities

• Diseñar, construir y operar la plataforma de datos sobre AWS serverless, usando Airflow, y desplegar como código.
• Desarrollar DAGs de Airflow con idempotencia, reintentos, SLAs y manejo de fallos.
• Configurar MWAA y desplegar entornos con integración continua.
• Orquestar tareas desde Airflow hacia Glue, Lambda, ECS y Step Functions; integrar dbt y dlt.
• Implementar ingesta multi‑fuente (REST/GraphQL, APIs, SharePoint, archivos).
• Diseñar data lake / lakehouse en S3 con Parquet e Iceberg.
• Modelar datos en Snowflake y dbt; incluir tests y documentación.
• Procesamiento con Spark / PySpark y escritura idempotente.
• Provisionar infraestructura como código (Terraform, CDK/CloudFormation).
• Construir pipelines GitLab CI/CD y separar entornos (dev/staging/prod).
• Aplicar mínimo privilegio y gobernanza de datos; gestionar secretos.
• Observabilidad con CloudWatch; testing de DAGs.
• Optimizar costos con prácticas FinOps.

Skills

AWS serverless

Apache Airflow

CI/CD

Seguridad y governanza de datos

Cost optimization

Tools

MWAA

dbt

Cosmos

Terraform

AWS CDK / CloudFormation

S3 / Lake Formation

Snowflake

Job description

Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina

• Ubicación: Argentina
• Tipo de contrato: Relación de dependencia, full-time
• Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)

Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.

La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.

Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.

Responsabilidades

• Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, elegiendo cada servicio según el caso de uso, el costo y la operabilidad.
• Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
• Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green.
• Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt.
• Implementar ingesta multi‑fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
• Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
• Modelar datos en Snowflake y dbt por capas, con tests y documentación.
• Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
• Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
• Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
• Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
• Implementar observabilidad con CloudWatch (logs, métricas y alarmas) y testing de DAGs.
• Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.

Requisitos

• +3 años de experiencia como Data Engineer en entornos cloud productivos.
• AWS serverless (excluyente, nivel avanzado):
  • Computo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS.
  • Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless.
  • Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS.
  • Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams).
  • Integración y APIs: API Gateway, AppSync.
  • Streaming: Kinesis Data Streams / Firehose, MSK Serverless.
  • Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager.
  • Observabilidad y costos: CloudWatch, FinOps y Cost Explorer.
• Apache Airflow (excluyente, nivel avanzado):
  • Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills.
  • Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators.
  • TaskFlow API, XComs, dynamic task mapping, task groups y assets.
  • MWAA en producción.
  • Testing de DAGs, parametrización por entorno, monitoreo y alertas.
• CI/CD y control de versiones (excluyente):
  • Git avanzado: rebase, merge, cherry‑pick, resolución de conflictos e historial limpio.
  • Estrategias de branching (GitFlow, trunk‑based, feature branches) y versionado semántico.
  • GitLab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge.
  • GitLab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos.
• Infraestructura como código:
  • Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes.
  • AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection.
  • Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar.
• Ingeniería de datos:
  • Snowflake: modelado, SQL avanzado y optimización de consultas.
  • dbt: modelado por capas, tests, documentación e integración con Cosmos.
  • Python para ingesta y automatización (boto3, APIs REST y GraphQL, procesamiento de archivos).
  • Spark / PySpark, incluyendo conocimiento de internals.
  • Parquet y Apache Iceberg sobre Glue Catalog.
  • Ingesta multi‑fuente con dlt.
• Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes.

Sobre Darwoft

Darwoft es una software factory que desarrolla soluciones de software a medida y brinda servicios de staff augmentation IT para clientes internacionales, principalmente en Estados Unidos y Latinoamérica. Trabajamos con startups y compañías en crecimiento, construyendo productos digitales de alto impacto.

Nuestra cultura es people‑first: priorizamos la calidad técnica, las relaciones de largo plazo y el trabajo colaborativo. Combinamos excelencia técnica con cercanía humana.

¿Qué ofrecemos en Darwoft?

• Contrato en relación de dependencia, con remuneración en ARS.
• Modalidad de trabajo remota o Mixta.
• Salarios competitivos.
• Vacaciones y licencias según legislación vigente.
• Días personales adicionales por año.
• Acceso a plataformas de capacitación.
• Tarjeta de beneficios y descuentos.
• Welcome kit.
• Programas de reintegros.
• Clases de inglés.
• Programa de referidos.
• Regalo de cumpleaños.
• Healthy Break.
• Celebraciones, aniversarios y actividades de integración.