FV 151-26 Analista de Dados (Databricks / Azure)

Soditech Engenharia; Brasil; Presencial; BRL 150 000 - 210 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

TotalPass

StarBem

Convênio com o Sesc

Resumo da oferta

Soditech Engenharia procura um Engenheiro de Dados para projetar, desenvolver e evoluir pipelines de dados escaláveis em Databricks no ambiente Azure. O profissional atuará na ingestão, transformação e disponibilidade de dados, apoiando decisões orientadas a dados através de ETL/ELT eficientes.

É necessário dominar Python, SQL e ter experiência com Java, PySpark e Delta Lake, além de conhecer boas práticas de governança e segurança de dados. Formação em engenharia/ciência de dados é desejável.

Qualificações

• Experiência com Databricks e desenvolvimento de pipelines de dados.
• Domínio de Python, SQL e conhecimento em Java.
• Vivência com integração entre bancos de dados (SQL/NoSQL) e serviços Azure.
• Experiência com ETL/ELT e manipulação de dados.

Responsabilidades

• Projetar, desenvolver e evoluir pipelines de dados escaláveis em Databricks.
• Atuar na ingestão, transformação e disponibilização de dados (ETL/ELT).
• Desenvolver soluções com Python, Java e SQL e integrar dados no Azure.
• Monitore e resolva falhas em pipelines para manter a produção estável.
• Contribuir com documentação técnica e melhoria contínua de processos.

Conhecimentos

Databricks

Python

SQL

Java

Git

PySpark

Delta Lake

Governança de dados

Segurança de dados

Ferramentas

Databricks

Azure Data Factory

Azure Data Lake

Azure SQL/Synapse

Git

Descrição da oferta de emprego

Descrição da Vaga

Atividades principais:

• Projetar, desenvolver e evoluir pipelines de dados escaláveis em Databricks, garantindo alta performance e confiabilidade;
• Atuar na ingestão, transformação e disponibilização de dados (ETL/ELT), apoiando decisões orientadas a dados;
• Desenvolver soluções robustas utilizando Python, Java e SQL;
• Integrar dados entre Databricks, bancos e serviços no Azure, assegurando fluidez e consistência das informações;
• Monitorar, analisar e resolver falhas em pipelines, promovendo estabilidade em ambientes produtivos;
• Otimizar performance, qualidade e segurança dos dados em toda a cadeia de processamento;
• Contribuir com documentação técnica e melhoria contínua dos processos e arquitetura de dados.

Requisitos

• Experiência com Databricks e desenvolvimento de pipelines de dados;
• Domínio de Python, SQL e conhecimento em Java;
• Vivência com integração e conexão com bancos de dados (SQL/NoSQL);
• Experiência no ambiente Microsoft Azure (Data Factory, Data Lake, Azure SQL ou Synapse);
• Atuação com processos de ETL/ELT e manipulação de dados;
• Conhecimento em PySpark, Delta Lake e otimização de pipelines;
• Experiência com troubleshooting, análise de falhas e sustentação de ambientes;
• Conhecimento em Git e boas práticas de desenvolvimento;
• Noções de governança e segurança de dados.

Benefícios

• TotalPass;
• StarBem;
• Convênio com o Sesc.