Engenheiro(A) De Dados Pleno - Sp

Innolevels; São Paulo; Presencial; BRL 120 000 - 190 000; Tempo integral

Resumo da oferta

Innolevels procura Engenheiro(a) de Dados Pleno no Brasil para atuar no desenvolvimento e evolução de pipelines de dados com Databricks e Apache Spark. O profissional trabalhará com grandes volumes de informações em ambientes distribuídos, realizando ingestão, transformação e processamento de dados.

Requisitos incluem experiência prática com Databricks, Spark, Delta Lake e formatos Parquet/Avro, bem como conhecimento de técnicas de otimização de performance de workloads.

Qualificações

• Experiência prática com Databricks e Apache Spark.
• Conhecimento de modelagem e manipulação de dados.
• Experiência com processamento distribuído e Cluster Computing.
• Conhecimento de Spark (Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown).
• Experiência com Delta Lake, incluindo versionamento e Time Travel.
• Conhecimento de formatos Parquet e Avro.
• Experiência com leitura e gravação de dados em diferentes formatos.

Responsabilidades

• Desenvolver e manter pipelines de dados utilizando Databricks e Spark.
• Realizar ingestão, transformação e processamento de dados.
• Trabalhar com diferentes fontes e formatos de arquivos.
• Aplicar boas práticas de modelagem e manipulação de dados.
• Contribuir para a otimização de processos e performance dos workloads de dados.

Conhecimentos

Databricks

Apache Spark

Delta Lake

Parquet

Avro

Streaming

Performance tuning

Descrição da oferta de emprego

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados, trabalhando com grandes volumes de informações e ambientes distribuídos.

Principais responsabilidades

• Desenvolver e manter pipelines de dados utilizando Databricks e Spark;
• Realizar ingestão, transformação e processamento de dados;
• Trabalhar com diferentes fontes e formatos de arquivos;
• Aplicar boas práticas de modelagem e manipulação de dados;
• Contribuir para a otimização de processos e performance dos workloads de dados.

Requisitos obrigatórios

• Experiência prática com Databricks e Apache Spark;
• Conhecimento de modelagem e manipulação de dados;
• Experiência com processamento distribuído e Cluster Computing;
• Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown;
• Experiência com Delta Lake, incluindo versionamento e Time Travel;
• Conhecimento dos formatos Parquet e Avro;
• Experiência com leitura e gravação de dados em diferentes formatos.

Diferenciais

• Experiência com Azure Data Factory;
• Vivência em ambientes Lakehouse e Azure Data Lake;
• Conhecimento em otimização de workloads Spark;
• Experiência com grandes volumes de dados;
• Conhecimento em streaming de dados;
• Experiência com CI/CD para pipelines de dados.

“Grandes coisas em termos de negócios nunca são feitas por uma pessoa. São feitas por uma equipe de pessoas