Engenheiro de Dados Pleno

DigAI; São Paulo; Hybrid; BRL 180,000 - 260,000; Full time

Job summary

A DigAI está recrutando para atuar na construção e evolução de soluções de engenharia de dados, desenvolvendo pipelines escaláveis para apoiar análises, ML e a disponibilização de informações para equipes distintas.

A posição é híbrida, com presença duas vezes por semana no Morumbi, em São Paulo. Espera-se domínio de SQL e Python, experiência com Spark/Databricks e Azure, além de habilidades em modelagem de dados e governança de dados.

Qualifications

• Domínio de SQL e Python e conhecimento básico de Java.
• Experiência prática com Apache Spark e Databricks.
• Conhecimento com Microsoft Azure (Azure Data Factory, Azure Synapse e ADLS).
• Conhecimento de Big Data, Data Warehouse/Data Lake e ETL/ELT.
• Modelagem de dados, design de bancos de dados e mineração de dados.
• Padrões de arquitetura de dados e observabilidade de pipelines.

Responsibilities

• Projetar, desenvolver e otimizar pipelines de dados ETL/ELT com foco em escalabilidade e desempenho.
• Modelar e estruturar bancos de dados, Data Warehouses e Data Lakes seguindo boas práticas.
• Integrar grandes volumes de dados em ambientes de Big Data e nuvem.
• Aplicar matemática, estatística e ML na preparação de dados para análises.
• Monitorar qualidade, governança e fluxo de dados com observabilidade.
• Colaborar com Analytics, BI e Ciência de Dados para apoiar arquitetura e disponibilização das informações.

Skills

SQL

Python

Java básico

Big Data

Data modeling

Observability

Education

Bacharel em Ciência da Computação ou área relacionada

Tools

Apache Spark

Databricks

Azure Data Factory

Azure Synapse

ADLS

Job description

Você vai atuar na construção e evolução de soluções de engenharia de dados, desenvolvendo pipelines escaláveis e confiáveis para apoiar análises, iniciativas de aprendizado de máquina e a disponibilização de informações para diferentes equipes. A posição tem atuação híbrida, com presença duas vezes por semana no Morumbi, em São Paulo.

Responsabilidades

• Projetar, desenvolver e otimizar pipelines de dados ETL/ELT, com foco em escalabilidade e desempenho.
• Modelar e estruturar bancos de dados, Data Warehouses e Data Lakes seguindo boas práticas de arquitetura de dados.
• Integrar e processar grandes volumes de dados em ambientes de Big Data e nuvem.
• Aplicar conceitos matemáticos e estatísticos na preparação de dados para análises avançadas e modelos de aprendizado de máquina.
• Monitorar a qualidade, a governança e o fluxo dos dados com práticas e ferramentas de observabilidade.
• Colaborar com equipes de Analytics, BI e Ciência de Dados para apoiar a arquitetura e a disponibilização das informações.

Requisitos obrigatórios

• Domínio de SQL e Python e conhecimento básico de Java.
• Experiência prática com Apache Spark e Databricks.
• Conhecimento e vivência com Microsoft Azure, incluindo Azure Data Factory, Azure Synapse e ADLS.
• Domínio dos conceitos de Big Data, Data Warehouse, Data Lake e ETL/ELT.
• Conhecimento de modelagem, design de bancos de dados e mineração de dados.
• Compreensão de padrões de arquitetura de dados.
• Conhecimentos básicos de matemática, estatística e algoritmos de aprendizado de máquina.
• Familiaridade com práticas e ferramentas de monitoramento e observabilidade de dados e pipelines.

Diferenciais

• Capacidade de colaborar com equipes multidisciplinares na construção e evolução de soluções de dados.
• Interesse em aprimorar práticas de qualidade, governança e observabilidade de dados.

O que esperamos

Esperamos que você contribua para soluções de dados confiáveis, escaláveis e bem estruturadas, conectando as necessidades de análise e processamento às melhores práticas de engenharia.

Valorizamos uma atuação colaborativa, com atenção à qualidade dos dados e ao desempenho dos pipelines.