Data Engineer- MS Fabric (Remoto en Colombia)

Derevo

United States

Remote

USD 120,000 - 160,000

Full time

9 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

WELLNESS
LET´S RELEASE YOUR POWER
WE CREATE NEW THINGS
WE GROW TOGETHER

Job summary

Derevo busca un Data Engineer para diseñar e implementar arquitecturas de datos modernas y soluciones analíticas basadas en Big Data. Aplicarás prácticas de multiprocesamiento y gestionarás data warehouses, data lakes y lakehouses integrando múltiples fuentes con eficiencia.

Trabajarás en un entorno remoto/colaborativo, participando en sprint planning, workshops y entrega de pipelines con Azure y Fabric Lakehouse. Se valorarán habilidades en SQL, PySpark, APIs y gobernanza de datos.

Qualifications

  • Dominio de SQL (T-SQL/Spark SQL) y diseño de consultas complejas.
  • Desarrollo en PySpark y manejo de DataFrames.
  • Orquestación de pipelines con REST APIs/JSON.
  • Conocimientos de Delta Lake y Lakehouse.
  • Experiencia en CI/CD y herramientas Azure/GitHub Actions.
  • Comprensión de seguridad y gobernanza de datos.

Responsibilities

  • Colaborarás en sprint planning y sesiones de ingeniería.
  • Definir alcance y requerimientos con visión de consultor.
  • Participar en workshops y reuniones con cliente.
  • Gestionar riesgos y comunicar desviaciones a tiempo.
  • Cumplir fechas de entrega y seguimiento diario.
  • Proporcionar dashboards de ingestión y transformación.

Skills

Inglés avanzado
T-SQL
Spark SQL
Python PySpark
JSON REST APIs
Delta Lake
Fabric Lakehouse
Synapse Analytics
CI/CD
Azure DevOps
GitHub Actions
Security & Governance
Azure Data Factory

Tools

Azure Data Factory

Job description

Tu misión:

Serás clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data. Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses. Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi‑estructurados, para integrar y transformar múltiples fuentes con eficacia. Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos.

¿Cómo lo harás?

Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos. Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra. Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente. Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint. Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.

¿Qué pedimos?

Para que te puedas incorporar y sentirte como pez en el agua siendo un Data Engineer en Derevo, esto es lo que consideraremos:

  • Inglés avanzado
  • Habilidades Técnicas: Lenguajes de Consulta y Programación T‑SQL / Spark SQL: DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos.
  • Python (PySpark): Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad).
  • JSON / REST APIs: Orquestación de pipelines y despliegues CI/CD mediante llamadas a Fabric REST APIs, parametrización dinámica de ejecuciones y gestión de artefactos.
  • Microsoft Fabric Lakehouse (OneLake + Delta Lake): modelado de datos con tablas Delta ACID, particionamiento y optimizaciones (OPTIMIZE, Z‑ORDER) para mejorar rendimiento; uso de time travel para auditoría y recuperación.
  • Warehouses (Synapse Analytics): configuración de clusters SQL provisionados y serverless; diseño de esquemas estrella/copo de nieve; ejecución de T‑SQL transaccional con aislamiento y escalado automático de recursos.
  • CI/CD & Lifecycle Management: definición de pipelines en Azure DevOps o GitHub Actions con entornos dev–test–prod; pruebas unitarias de datasets, validaciones de esquema y despliegue automatizado de artefactos.
  • Monitor Hub & Activator: creación de dashboards personalizados para métricas de ingestión y transformación (latencia, throughput, errores); alertas proactivas y runbooks automáticos basados en condiciones definidas.
  • Eventstreams & Eventhouse: configuración de ingesta de eventos en tiempo real sin código; definición de ventanas de procesamiento, agregaciones incrementales y almacenamiento optimizado para análisis temporal.
  • Seguridad y Gobierno de Datos: administración granular de roles (Admin, Member, Contributor, Viewer) y permisos por workspace/item; políticas de row-level, column-level security y dynamic data masking; auditoría de accesos y cambios para cumplimiento normativo.
  • Deseable: conocimientos generales en Azure Data Factory
Habilidades Blandas y de Negocio:
  • Comunicación cercana: explicas hallazgos técnicos y de negocio de manera clara y directa.
  • Trabajo en Squads: colaboras bajo el Squad Lead/Tech Lead, aportando ideas y levantando la mano cuando algo no encaja.
  • Proactividad y colaboración: detectas problemas, propones soluciones y compartes el reto con el equipo para que juntos lo resolvamos.
  • Aprendizaje constante: mantienes la mente abierta, consumes videos y documentación para especializarte en nuevas tecnologías.
  • Responsabilidad y organización: gestionas tus OKRs, reportas avances y administras tu tiempo para cumplir compromisos.
  • Consultoría de Datos: interpretas reglas de negocio y propones escenarios de implementación técnica para convertir necesidades en soluciones
  • Gestión de Requerimientos: Análisis de alcance y requerimientos para asegurar el éxito del proyecto.
  • Estrategia alineada al cliente: conviertes objetivos de negocio en arquitectura de datos práctica y robusta.
  • Presentación a Clientes: comunicas propuestas y resultados de manera efectiva.
¿Qué beneficios tendrás?
  • WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo.
  • LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo.
  • WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.
  • WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.
Dónde lo harás?

Somos un gran equipo trabajando en un esquema remoto, somos flexibles y estructurados; proporcionando el equipo necesario para trabajar y herramientas de comunicación interna que faciliten nuestra operación y la de nuestros clientes.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer Senior
Data Engineer Senior

Arkano • United States

Hybrid
USD 120,000 - 180,000
Hybrid schedule
Microsoft certifications
Referral bonus
+2
Data Engineer
Data Engineer

Creai • United States

Remote
USD 140,000 - 190,000
PTO ilimitado
Presupuesto para desarrollo
Cobertura médica privada
+2
Senior Data Engineer
Senior Data Engineer

Grupo TECDATA Engineering • United States

Hybrid
USD 66,000 - 104,000
Formación profesional
Trabajo híbrido
DataOps Engineer (Python/AWS/Snowflake) · Senior · Remote · ARG
DataOps Engineer (Python/AWS/Snowflake) · Senior · Remote · ARG

Darwoft • United States

Hybrid
USD 580 - 960
Welcome kit
English classes
Flexible hours
+1
Senior Data Engineer - Snowflake & dbt | Remoto México y LATAM
Senior Data Engineer - Snowflake & dbt | Remoto México y LATAM

DaCodes • United States

Remote
USD 60,000 - 110,000
Trabajo remoto/Home office
Día off en tu cumpleaños
Seguro de gastos médicos mayores (aplí
Data Engineer Senior – Data & AI
Data Engineer Senior – Data & AI

Grupo TECDATA Engineering • United States

Hybrid
USD 66,000 - 99,000
Data & AI Product Engineer
Data & AI Product Engineer

AMS Solutions • United States

Remote
USD 110,000 - 150,000
Seguro médico
Ticket restaurante
Transporte
+2
Científico/a de datos sénior - Inferencia causal - Databricks
Científico/a de datos sénior - Inferencia causal - Databricks

Muttdata • United States

Remote
USD 140,000 - 180,000
Cultura de trabajo remoto
Certificaciones AWS/DBT cubiertas
Día libre por cumpleaños + una semana
+3
Senior Data Engineer
Senior Data Engineer

univision • Miami (FL)

On-site
MXN 900,000 - 1,400,000
Staff Engineer (Core y MLOps) - Remoto
Staff Engineer (Core y MLOps) - Remoto

ZYTE • United States

Remote
USD 180,000 - 240,000
Trabajo remoto global
Conferencias internacionales
Herramientas de código abierto