Engenheiro de Dados

Cadmus; España; On-site; EUR 42,000 - 65,000; Full time

Job summary

A Cadmus procura um engenheiro de dados para desenvolver, manter e otimizar pipelines ETL/ELT em várias plataformas (SQL Server, Spark, NoSQL).

Você migrará rotinas de SQL Server para Spark, criará automações em Python e modelará dados seguindo boas práticas de governança e performance. Trabalhará com equipes para assegurar qualidade, integridade dos dados e apoiará migrações para a nuvem (GCP).

Responsibilities

• Desenvolver, manter e otimizar processos ETL/ELT em SQL Server, Spark e NoSQL.
• Migrar rotinas e cargas de dados de SQL Server para Spark (PySpark).
• Desenvolver scripts e automações em Python.
• Modelar e estruturar dados de acordo com boas práticas de governança e performance.
• Colaborar com arquitetos, analistas e testers para garantir a qualidade e integridade dos dados.
• Apoiar iniciativas de migração e modernização de dados em ambientes cloud (GCP).

Job description

Responsabilidades:

Desenvolver, manter e otimizar processos ETL/ELT em diferentes plataformas (SQL Server, Spark, NoSQL).
Migrar rotinas e cargas de dados de SQL Server para Spark (PySpark).
Desenvolver scripts e automações em Python.
Modelar e estruturar dados conforme boas práticas de governança e performance.
Trabalhar em conjunto com arquitetos, analistas e testers para garantir a qualidade e integridade dos dados.
Apoiar iniciativas de migração e modernização de dados em ambientes cloud (GCP).