Bi Data Modeling Engineer – Power Bi & Sql

Blacksmith Agency Llc; Neuquén; Hybrid; ARS 3,906,000 - 7,254,000; Full time

Benefits offered by this job

Trabajo 100% remoto

Salario competitivo

Vacaciones y licencias

Formación continua

Beneficios corporativos

Job summary

Blacksmith Agency Llc busca un Data Engineer con experiencia en Azure para diseñar, construir y operar pipelines ETL/ELT, asegurando ingestión, transformación y gobernanza de datos para consumidores analíticos.

La posición implica trabajar con Azure Data Factory, Azure Databricks y almacenamiento en Blob/Data Lake Gen2, implementando logging, pruebas y CI/CD para despliegues reproducibles, con foco en rendimiento y calidad de datos.

Qualifications

• Experiencia comprobable en ingeniería de datos con Azure.
• Dominio de SQL y optimización de consultas.
• Conocimiento de pipelines ETL/ELT y gobernanza de datos.

Responsibilities

• Modelar y construir pipelines ETL/ELT en Azure Data Factory y Databricks.
• Implementar procesos ETL/ELT con Spark y PySpark.
• Desarrollar consultas SQL optimizadas para analítica.
• Gestionar datos en Azure Blob Storage y Data Lake Gen2.
• Construir pipelines reproducibles con logging y alertas.
• Colaborar con Data Science, BI y producto para contratos de datos y QoS.
• Automatizar despliegues y pruebas con CI/CD para artefactos de datos.
• Garantizar seguridad y gobernanza de datos.
• Documentar arquitecturas y runbooks, con participación en on-call.

Skills

SQL

Python

ETL/ELT

Data modeling

Tools

Azure Data Factory

Azure Databricks

Azure Data Lake Gen2

Delta Lake

PySpark

Job description

Integrarte a un equipo de datos para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando la ingesta, transformación y disponibilidad de datos para consumidores de negocio y modelos analíticos. El rol implica responsabilidad técnica en la implementación de soluciones con Azure Data Factory, Azure Databricks y ecosistemas de almacenamiento (Blob Storage, Data Lake) aplicando buenas prácticas de calidad, rendimiento y gobernanza de datos.

Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks.

Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real.

Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting.

Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención.

Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas.

Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad.

Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos.

Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles.

Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique.

Requisitos excluyentes

• Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks.
• Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.
• Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas.
• Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos.
• Conocimiento práctico de Azure Blob Storage y Azure Data Lake (Gen2), incluyendo formatos como Parquet/Delta Lake.
• Familiaridad con herramientas de orquestación, monitorización y CI/CD aplicadas a datos.
• Inglés técnico: nivel intermedio (lectura de documentación y comunicación con equipos técnicos).
• Residir en Argentina.
• Experiencia con Delta Lake, optimizaciones de storage y compaction.
• Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento.
• Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow o equivalentes).
• Experiencia con performance tuning de Spark y troubleshooting de jobs en Databricks.
• Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks.
• Experiencia en entornos cloud a gran escala y en trabajo ágil con equipos multidisciplinarios.

Sobre el rol

Buscamos un/a Data Engineer con experiencia práctica en Neo4j, Cypher y modelado de datos en grafos para sumarse a un proyecto innovador de LegalTech enfocado en transformar la manera en que se organiza, conecta y consulta información legal, tributaria, contable y regulatoria.

Vas a participar en el desarrollo y evolución de un Knowledge Graph que permitirá relacionar grandes volúmenes de información, identificar conexiones semánticas y potenciar soluciones de búsqueda inteligente basadas en Inteligencia Artificial.

Esta posición combina Data Engineering, Graph Databases e Inteligencia Artificial, con un fuerte enfoque en la construcción de soluciones productivas, escalables y mantenibles.

Trabajarás junto a equipos de Data Science, Backend e IA para transformar modelos conceptuales, taxonomías y ontologías en estructuras de grafos eficientes que alimenten arquitecturas de recuperación de información como RAG (Retrieval-Augmented Generation).

Buscamos una persona con una base sólida en ingeniería de datos, experiencia real trabajando con Neo4j y motivación por seguir desarrollándose en Knowledge Graphs, búsqueda semántica y GraphRAG.

¿Qué vas a hacer?

• Modelado de grafos: Diseñar, implementar y mantener modelos de datos en Neo4j, representando entidades, relaciones, jerarquías y estructuras complejas de información.
• Ingeniería de datos: Construir y optimizar pipelines ETL/ELT para ingesta, transformación, validación y actualización de datos estructurados y no estructurados.
• Desarrollo con Cypher: Crear y optimizar consultas complejas para recuperación de información, navegación de relaciones y procesamiento de datos en grafos.
• Implementación de Knowledge Graphs: Transformar taxonomías, ontologías y modelos conceptuales definidos por Data Science en estructuras productivas dentro de Neo4j.
• Integración con IA y RAG: Participar en la integración Neo4j con embeddings, búsqueda vectorial y arquitecturas de recuperación semántica.
• Optimización de performance: Mejorar consultas, estrategias de indexación, consistencia de datos y escalabilidad de la base de grafos.
• Integración con Backend: Desarrollar integraciones mediante Python o Node.js para conectar los datos del grafo con aplicaciones, APIs y servicios internos.
• Calidad de datos: Implementar validaciones, controles automatizados y buenas prácticas para garantizar la integridad y confiabilidad de la información.
• Trabajo interdisciplinario: Colaborar con especialistas en Data Science, Inteligencia Artificial y desarrollo de software para evolucionar la arquitectura de datos.

¿Qué buscamos?

• Experiencia: Entre 3 y 5 años de experiencia profesional en Data Engineering, Data Platform Engineering o posiciones similares.
• Neo4j: Experiencia práctica diseñando, implementando y manteniendo soluciones basadas en bases de datos de grafos.
• Cypher: Buen dominio del lenguaje para desarrollar consultas complejas, recorrer relaciones y optimizar operaciones sobre grafos.
• Modelado de datos: Conocimiento de modelos Property Graph, nodos, relaciones, labels, propiedades y buenas prácticas de diseño.
• ETL/ELT: Experiencia desarrollando pipelines de ingesta, transformación e integración de datos.
• Programación: Manejo de Python o Node.js para procesamiento de datos, automatización o integración con servicios.
• Optimización: Conocimiento de índices, constraints, optimización de consultas y performance de bases de datos.
• Arquitectura de datos: Capacidad para transformar requerimientos funcionales y técnicos en modelos de datos escalables y mantenibles.
• Fundamentos de IA: Familiaridad con embeddings, búsqueda semántica, bases vectoriales o conceptos de RAG.
• Autonomía y colaboración: Capacidad analítica, resolución de problemas, documentación técnica y buena comunicación con equipos interdisciplinarios.

Será un plus

• Experiencia con Knowledge Graphs, GraphRAG o arquitecturas de recuperación híbrida.
• Conocimiento de Neo4j APOC, Graph Data Science (GDS) o Neo4j Vector Index.
• Familiaridad con tecnologías semánticas como RDF, OWL, SKOS o SHACL.
• Experiencia integrando Neo4j con LangChain, LlamaIndex u otros frameworks de IA.
• Experiencia con Neo4j AuraDB, despliegues cloud o entornos contenerizados.
• Conocimiento de NLP, extracción de entidades, procesamiento documental o enriquecimiento semántico.
• Familiaridad con Kafka, RabbitMQ o herramientas de procesamiento distribuido.
• Experiencia implementando pruebas automatizadas sobre grafos, validaciones de calidad de datos o herramientas de observabilidad.
• Experiencia previa en proyectos de LegalTech, RegTech, compliance o plataformas de gestión de conocimiento.

¿Qué te ofrecemos en Darwoft?

• Contrato full-time en relación de dependencia con pago en ARS.
• Trabajo 100% remoto.
• Salario competitivo.
• Licencias legales y vacaciones.
• Días personales adicionales por año.
• Acceso a plataformas de aprendizaje.
• Tarjeta de beneficios y descuentos.
• Welcome kit.
• Programas de reintegros.
• Clases de inglés.
• Programa de referidos.
• Regalo de cumpleaños.
• Healthy Break.
• Celebraciones al estilo Darwoft: aniversarios, fiestas de fin de año, cumpleaños y actividades de integración.

Información general

• Ubicación: Argentina
• Tipo de contrato: Relación de dependencia, full-time
• Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)

Sobre el rol

Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.

La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.

Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.

Responsabilidades

• Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad.
• Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
• Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green.
• Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt.
• Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
• Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
• Modelar datos en Snowflake y dbt por capas, con tests y documentación.
• Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
• Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
• Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
• Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
• Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
• Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.

Requisitos

• +3 años de experiencia como Data Engineer en entornos cloud productivos.
• AWS serverless (excluyente, nivel avanzado):
  • Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS.
  • Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless.
  • Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS.
  • Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams).
  • Integración y APIs: API Gateway, AppSync.
  • Streaming: Kinesis Data Streams / Firehose, MSK Serverless.
  • Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager.
  • Observabilidad y costos: CloudWatch, FinOps y Cost Explorer.
• Apache Airflow (excluyente, nivel avanzado):
  • Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills.
  • Operadores, hooks y sensores: proveedores de AWS, operadores custom y deferrable operators.
  • TaskFlow API, XComs, dynamic task mapping, task groups y assets.
  • MWAA en producción.
  • Testing de DAGs, parametrización por entorno, monitoreo y alertas.
• CI/CD y control de versiones (excluyente):
  • Git avanzado: rebase, merge, cherry-pick, resolución de conflictos e historial limpio.
  • Estrategias de branching (GitFlow, trunk-based, feature branches) y versionado semántico.
  • GitLab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge.
  • GitLab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos.
• Infraestructura como código:
  • Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes.
  • AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection.
  • Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar.
• Ingeniería de datos:
  • Snowflake: modelado, SQL avanzado y optimización de consultas.
  • dbt: modelado por capas, tests, documentación e integración con Cosmos.
  • Python para ingesta y automatización (boto3, APIs REST y GraphQL, procesamiento de archivos).
  • Spark / PySpark, incluyendo conocimiento de internals.
  • Parquet y Apache Iceberg sobre Glue Catalog.
  • Ingesta multi-fuente con dlt.
• Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes.

Nice-to-Have

• Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
• Criterio para elegir entre Glue y EMR como motor de procesamiento.
• Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
• FinOps de datos: pipelines de costos cloud y análisis de consumo.
• Nociones de Kafka (MSK) y catalogación de topics.

¿Qué ofrecemos en Darwoft?

• Contratación en relación de dependencia, con remuneración en ARS.
• Modalidad de trabajo remota o Mixta.
• Salarios competitivos.
• Vacaciones y licencias según legislación vigente.
• Días personales adicionales por año.
• Acceso a plataformas de capacitación.
• Tarjeta de beneficios y descuentos.
• Welcome kit.
• Programas de reintegros.
• Clases de inglés.
• Programa de referidos.
• Regalo de cumpleaños.
• Healthy Break.
• Celebraciones, aniversarios y actividades de integración.