Remote Data Engineer - Cloud ETL & Spark Expert

Consultores de Empresas; Sicilia; Remote; EUR 50,000 - 75,000; Full time

Job summary

Consultores de Empresas busca Data Engineers/Developers para migrar y modernizar procesos de datos en un proyecto internacional. Trabajarás en ETL, pipelines y migración a Spark/Delta Lake, con revisión de código y aseguramiento de calidad.

Se valorará experiencia con Databricks, Azure DevOps y CI/CD, manejo de SQL Server y T-SQL, así como conocimiento de pytest y YAML. Trabajo 100% remoto a nivel internacional, jornada completa, con horario flexible.

Qualifications

• Experiencia en ingeniería de datos o desarrollo de procesos ETL.
• Conocimientos sólidos de Python, PySpark y SQL.
• Experiencia práctica con Spark en entornos productivos.
• Conocimientos de Delta Lake y revisión de código mediante PRs.

Responsibilities

• Desarrollar, revisar y validar procesos de ingeniería de datos y pipelines ETL.
• Participar en la migración de soluciones hacia Apache Spark y Delta Lake.
• Revisar y validar código generado mediante herramientas de IA.
• Ejecutar pruebas de calidad, integridad y reconciliación de datos.
• Detectar y resolver errores de procesamiento y rendimiento.
• Gestionar versiones de código con Git, Pull Requests y revisión.
• Colaborar en despliegues, pruebas y resolución de incidencias en desarrollo y producción.

Skills

Python

PySpark

SQL

Data debugging

Tools

Git

Databricks

Azure DevOps

CI/CD

pytest

YAML

SQL Server

SSIS

Alteryx

Job description

Consultores de Empresas busca Data Engineers/Developers para migrar y modernizar procesos de datos en un proyecto internacional. Trabajarás en ETL, pipelines y migración a Spark/Delta Lake, con revisión de código y aseguramiento de calidad.

Se valorará experiencia con Databricks, Azure DevOps y CI/CD, manejo de SQL Server y T-SQL, así como conocimiento de pytest y YAML. Trabajo 100% remoto a nivel internacional, jornada completa, con horario flexible.