Engenheiro de Dados

INDT Innovation; São Paulo; On-site; BRL 167,400 - 223,200; Full time

Job summary

A INDT Innovation, localizada em São Paulo, busca Engenheiros de Dados para atuar junto ao time de Analytics. O profissional irá desenvolver e manter pipelines de ingestão de dados e implementar cargas batch e incrementais.

Os candidatos ideais devem ter experiência com Databricks, PySpark e engenharia de dados. O projeto é temporário, com duração de 2 a 3 meses, mas pode ser estendido conforme a demanda.

Qualifications

• Experiência em engenharia de dados.
• Experiência com Databricks, PySpark e Spark SQL.
• Vivência com pipelines ETL/ELT e ingestão de dados.

Responsibilities

• Desenvolvimento e manutenção de pipelines de ingestão de dados.
• Implementação de cargas batch/full e incrementais.
• Apoio na sustentação, monitoração e evolução das demandas da área.

Skills

Engenharia de dados

Databricks

PySpark

Spark SQL

Pipelines ETL/ELT

Git/versionamento

Delta Lake

Job description

Estamos buscando Engenheiros de Dados para atuação junto ao time de Analytics do cliente, apoiando principalmente processos de ingestão de dados e sustentação/evolução das demandas da área.

Escopo da atuação:

• Desenvolvimento e manutenção de pipelines de ingestão de dados;
• Implementação de cargas batch/full e incrementais;
• Integração de dados provenientes de sistemas legados e SAP Datasphere;
• Desenvolvimento de processos de carga na camada Raw/Bronze do Databricks;
• Apoio na sustentação, monitoração e evolução das demandas da área;
• Atuação em integração, tratamento técnico e disponibilização de dados;
• Construção e manutenção de pipelines utilizando PySpark e SQL;
• Garantia de rastreabilidade, governança e qualidade técnica das cargas.

Requisitos obrigatórios:

• Experiência em engenharia de dados;
• Experiência com Databricks;
• Experiência com PySpark e Spark SQL;
• Vivência com pipelines ETL/ELT e ingestão de dados;
• Conhecimento em cargas incrementais e integrações de dados;
• Conhecimento em Delta Lake;
• Experiência com Git/versionamento;
• Perfil com autonomia e capacidade de atuação em demandas contínuas do time.

Diferenciais:

• Conhecimento com conexão federada no Databricks
• Experiência com SAP Datasphere;
• Experiência com SAP S/4HANA;
• Conhecimento em DLT (Delta Live Tables);
• Vivência em ambientes corporativos de grande porte.

PROJETO TEMPORÁRIO (2~3 MESES) COM CHANCES DE EXTENSÃO