Engenheiro de Dados Sênior

DataEX; Brazil; On-site; BRL 180,000 - 260,000; Full time

Benefits offered by this job

Cartão iFood Benefícios para refeição

Plano Médico - Porto Saúde (sem copart

Plano Odontológico - Porto Saúde (sem)

Seguro de Vida - Porto Saúde

English Pass - Acesso à plataforma de

Wellhub - Acesso a academias

Day-off de Aniversário

Convênio SESC

Parceria com SENAC - Cursos

Subsídio/Incentivo a Certificações - 


Job summary

A DataEX está recrutando um(a) Engenheiro(a) de Dados Sênior para atuar com Azure, Databricks e pipelines de Big Data na nuvem, com foco em soluções escaláveis e governança de dados.

O profissional será responsável por construir e otimizar pipelines, assegurar qualidade e performance dos dados, e contribuir com governança, segurança e engenharia de dados em projetos de alto impacto para grandes clientes.

Qualifications

• Experiência mínima de 3 anos em Engenharia de Dados ou atividades correlatas.
• Desenvolvimento e sustentação de pipelines ETL/ELT.
• Experiência com Microsoft Azure, especialmente Azure Databricks e tecnologias de nuvem.
• Conhecimento sólido em SQL e Python.
• Experiência com PySpark e processamento distribuído.
• Conhecimento de bancos de dados relacionais e NoSQL.
• Conhecimentos de Big Data e processamento de grandes volumes de dados.
• Experiência com Git/controle de versionamento.
• Conhecimentos de qualidade, segurança e governança de dados (LGPD).
• Capacidade de levantamento e análise de requisitos junto às áreas de negócio.
• Experiência com documentação técnica.

Responsibilities

• Desenvolver, manter e sustentar pipelines de dados ETL/ELT utilizando Azure Data Factory, Azure Databricks e Azure Data Lake.
• Desenvolver soluções de processamento e transformação de dados utilizando SQL, Python e PySpark.
• Levantamento e análise de requisitos junto às áreas de negócio, traduzindo necessidades funcionais em soluções técnicas de dados.
• Executar testes, validações e controles de qualidade, garantindo integridade, confiabilidade e acuracidade dos dados.
• Monitorar pipelines e ambientes de dados, identificando falhas, gargalos e oportunidades de melhoria de performance e custos.
• Realizar troubleshooting e atuar na resolução de incidentes e problemas relacionados às soluções de dados.
• Participar de projetos de implementação, evolução e migração de soluções de dados.
• Aplicar boas práticas de segurança, privacidade, qualidade e governança de dados, considerando LGPD.

Skills

Azure

SQL

Python

PySpark

ETL/ELT

NoSQL

Gestão de dados

LGPD

Git

Governança de dados

CI/CD

Tools

Azure Databricks

Job description

Oportunidade: Engenheiro de Dados Sênior (Azure/ Databricks)

Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA, com parcerias estratégicas com Microsoft, AWS e Databricks, atuando em projetos de alto impacto para grandes clientes. Valorizamos a inovação, a colaboração, o desenvolvimento contínuo e a qualidade de vida, com incentivos voltados certificações e bem-estar.

Sobre a vaga:

Estamos em busca de um(a) profissional de Engenharia de Dados para atuar no desenvolvimento e evolução de soluções de Big Data em nuvem, com foco em Microsoft Azure e Databricks. A pessoa será responsável por construir e otimizar pipelines, garantir a qualidade e performance dos dados e contribuir com soluções estratégicas de governança, segurança e engenharia de dados.

Informações:

Modelo de contratação: CLT

Requisitos Técnico:

• Experiência mínima de 3 anos em Engenharia de Dados ou atividades correlatas;
• Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT;
• Experiência com Microsoft Azure, especialmente:
• Conhecimento sólido em SQL e Python;
• Experiência com PySpark e processamento distribuído;
• Conhecimento de bancos de dados relacionais e NoSQL;
• Conhecimentos de Big Data e processamento de grandes volumes de dados;
• Experiência com Git/controle de versionamento;
• Conhecimentos de qualidade, segurança e governança de dados/LGPD;
• Capacidade de levantamento e análise de requisitos junto às áreas de negócio;
• Experiência com documentação técnica.

Será um diferencial....

• Certificações Microsoft relacionadas a Azure e Engenharia de Dados;
• Experiência em projetos de migração ou modernização de plataformas de dados;
• Conhecimentos de CI/CD e práticas de DevOps aplicadas a dados;
• Conhecimentos de otimização de performance e custos em ambientes de dados em nuvem;
• Experiência em ambientes corporativos críticos e/ou regulados.

Atividades:

• Desenvolver, manter e sustentar pipelines de dados ETL/ELT utilizando Azure Data Factory, Azure Databricks e Azure Data Lake;
• Desenvolver soluções de processamento e transformação de dados utilizando SQL, Python e PySpark;
• Levantar e analisar requisitos junto às áreas de negócio, traduzindo necessidades funcionais em soluções técnicas de dados;
• Executar testes, validações e controles de qualidade, garantindo integridade, confiabilidade e acuracidade dos dados;
• Monitorar pipelines e ambientes de dados, identificando falhas, gargalos e oportunidades de melhoria de performance e custos;
• Realizar troubleshooting e atuar na resolução de incidentes e problemas relacionados às soluções de dados;
• Participar de projetos de implementação, evolução e migração de soluções de dados;
• Aplicar boas práticas de segurança, privacidade, qualidade e governança de dados, considerando políticas internas e requisitos da LGPD;
• Utilizar práticas de versionamento de código e colaboração por meio de Git;
• Elaborar e manter documentação técnica de pipelines, processos, integrações e soluções implementadas;
• Participar de reuniões com stakeholders para entendimento de requisitos, apresentação de soluções e acompanhamento das demandas;
• Apoiar profissionais de menor experiência e contribuir para disseminação das boas práticas de engenharia de dados;
• Atuar em ambiente ágil, utilizando práticas como Scrum e Kanban.

Benefícios que oferecemos para o modelo CLT de atuação:

• Cartão iFood Benefícios para alimentação e refeição (VR e VA)
• Plano Médico - Porto Saúde (sem coparticipação)
• Plano Odontológico - Porto Saúde (sem coparticipação)
• Seguro de Vida - Porto Saúde
• English Pass - Acesso à plataforma de aprendizagem de inglês
• Wellhub - Acesso à academias e bem-estar integral
• Day-off de Aniversário - profissional, cônjuge e filhos/enteados (até 18 anos)
• Convênio SESC - Benefícios em cultura, lazer, esporte e bem-estar
• Parceria com SENAC - Cursos exclusivos e descontos de até 30%
• Subsídio/Incentivo a Certificações Técnicas - Microsoft, AWS e Databricks