Engenheiro(a) de Dados PL

IHM; Belo Horizonte; Hybrid; BRL 180,000 - 300,000; Full time

Benefits offered by this job

Descontos em cursos

LinkedIn Learning - cursos online

Telemedicina gratuita

Clube de vantagens e descontos

Convênio para Pet

Job summary

Stefanini Manufacturing, atuando em Belo Horizonte, MG, busca Engenheiro(a) de Dados Pleno para atuar em projetos de TI com forte componente de dados em ambientes industriais. A posição envolve construção, evolução e sustentação de pipelines, integração de fontes e estruturas de dados para soluções analíticas.

Você trabalhará com Azure e AWS, Docker, Databricks e CI/CD, participando de equipes ágeis, definindo camadas de dados e garantindo qualidade de dados.

Qualifications

• Python aplicado à engenharia de dados.
• SQL em nível intermediário ou avançado.
• Conceitos de Spark e PySpark.
• Conceitos de CI/CD.
• Modelagem de dados.
• APIs REST e integrações entre sistemas.
• Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
• Noções de observabilidade, logs e monitoramento de pipelines.
• Conhecimentos gerais de computação em nuvem (Azure/AWS).

Responsibilities

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
• Implementar ETL/ELT utilizando Python, SQL e tecnologias de processamento distribuído.
• Desenvolver e manter workflows com Apache Airflow.
• Desenvolver soluções em Databricks com notebooks, jobs e PySpark.
• Construir estruturas de dados em Data Lake, Data Warehouse e Lakehouse.
• Modelar dados e definir granularidade de camadas.
• Implementar tratamento, validação e qualidade de dados.
• Criar rotinas de logs, monitoramento e reprocessamento de cargas.
• Trabalhar com Docker e ambientes containerizados.
• Versionar códigos em Git e gerenciar pipelines CI/CD.
• Participar de Azure DevOps para código, pipelines e backlog.
• Participar de cerimônias ágeis e apoiar estimativas de esforço.
• Documentar tecnicamente as soluções implementadas.
• Trabalhar com arquitetos, DevOps, DataOps e cientistas de dados.

Skills

Python

SQL

Spark

CI/CD

Data modelling

APIs REST

Observability

Tools

Docker

Azure DevOps

Databricks

Airflow

Git

Job description

Stefanini Manufacturing |Belo Horizonte - MG | Híbrido

Descrição da vaga

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade.

A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados.

Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados.

Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.

Responsabilidades e atribuições

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
• Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
• Desenvolver e manter workflows de dados utilizando Apache Airflow.
• Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
• Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
• Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
• Implementar mecanismos de tratamento, validação e qualidade de dados.
• Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
• Trabalhar com ambientes containerizados utilizando Docker.
• Versionar códigos, scripts, notebooks e configurações em repositórios Git.
• Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
• Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
• Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
• Apoiar análise técnica de requisitos e estimativas de esforço.
• Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
• Produzir documentação técnica das soluções implementadas.
• Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.

Requisitos e qualificações

• Python aplicado à engenharia de dados.
• SQL em nível intermediário ou avançado.
• Conceitos de Spark e PySpark.
• Conceitos de CI/CD.
• Modelagem de dados.
• APIs REST e integrações entre sistemas.
• Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
• Noções de observabilidade, logs e monitoramento de pipelines.
• Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.
• Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS.

Requisitos desejáveis

• Serviços AWS aplicados a dados, como S3, Glue, Athena, Redshift e IAM.
• PostgreSQL, SQL Server ou bancos relacionais equivalentes.
• Integração com sistemas industriais, ERPs, MES, PIMS, LIMS ou sistemas legados.
• Conhecimentos de segurança e controle de acesso em plataformas de dados.
• Experiência com qualidade de dados e testes automatizados.

Desconto em cursos, universidades e instituições de idiomas;

LinkedIn Learning - cursos online, gratuitos, atualizados e com certificado;

Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas;

Clube de vantagens e descontos nos melhores estabelecimentos;

Convênio para Pet;

e muito mais...

Sobre a empresa

A Stefanini Manufacturing é uma empresa nascida em Belo Horizonte, Minas Gerais e representa a indústria dentro do grupo Stefanini para todos os continentes. Ajudamos nossos clientes a fazer melhorias expressivas e duradouras em seu desempenho operacional, superar seus indicadores de performance e endereçar suas agendas ESG. São mais de 30 anos e mais de 3000 projetos entregues. Acreditamos no potencial disruptivo da tecnologia e, acima de tudo, no talento e criatividade de nosso time. Conheça nossa história! Surpreenda-se!

É importante saber: para se candidatar, não importa sua idade, gênero, raça/etnia, deficiência, orientação sexual, origem, estética ou constituição familiar! Entendemos que as diferenças tornam as pessoas únicas!