Engenheiro(a) de Dados PL

Stefanini IHM; Belo Horizonte; Presencial; BRL 120 000 - 180 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Desconto em cursos e universidades

LinkedIn Learning - cursos online com证

Mentoring

Telemedicina gratuita

Clube de vantagens

Clube de viagens

Convênio para Pet

e muito mais...

Resumo da oferta

Stefanini IHM procura Engenheiro(a) de Dados Pleno para atuar em pipelines, integrações e estruturas de dados utilizadas por soluções analíticas e produtos de dados. Ambiente industrial com foco em dados, com CI/CD, Azure DevOps e múltiplas fontes.

O papel envolve construção, evolução e sustentação de pipelines, ETL/ELT, modelagem de dados e pipelines em Databricks, PySpark e Spark, com trabalho em equipes ágeis e ambientes Docker.

Qualificações

• Python aplicado à engenharia de dados.
• SQL em nível intermediário ou avançado.
• Apache Airflow.
• Databricks.
• Conceitos de Spark e PySpark.
• Docker.
• Git.
• Conceitos de CI/CD.
• Azure DevOps.
• Modelagem de dados.
• ETL e ELT.
• APIs REST e integrações entre sistemas.
• Data Lake, Data Warehouse e Lakehouse.
• Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
• Noções de observabilidade, logs e monitoramento de pipelines.
• Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.

Responsabilidades

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
• Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
• Desenvolver e manter workflows de dados utilizando Apache Airflow.
• Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
• Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
• Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
• Implementar mecanismos de tratamento, validação e qualidade de dados.
• Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
• Trabalhar com ambientes containerizados utilizando Docker.
• Versionar códigos, scripts, notebooks e configurações em repositórios Git.
• Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
• Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
• Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
• Apoiar análise técnica de requisitos e estimativas de esforço.
• Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
• Produzir documentação técnica das soluções implementadas.
• Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.

Conhecimentos

Python

SQL

Apache Airflow

Databricks

PySpark

Spark

Docker

Git

Azure DevOps

CI/CD

Modelagem de dados

ETL/ELT

REST APIs

Data Lake

Data Warehouse

Lakehouse

Observabilidade

Cloud (Azure/AWS)

Ferramentas

Docker

Databricks

Azure DevOps

Descrição da oferta de emprego

Descrição

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade. A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados. Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados. Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.

Responsabilidades e atribuições

• Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.
• Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.
• Desenvolver e manter workflows de dados utilizando Apache Airflow.
• Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.
• Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.
• Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.
• Implementar mecanismos de tratamento, validação e qualidade de dados.
• Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.
• Trabalhar com ambientes containerizados utilizando Docker.
• Versionar códigos, scripts, notebooks e configurações em repositórios Git.
• Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.
• Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.
• Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.
• Apoiar análise técnica de requisitos e estimativas de esforço.
• Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.
• Produzir documentação técnica das soluções implementadas.
• Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.

Requisitos e qualificações

• Python aplicado à engenharia de dados.
• SQL em nível intermediário ou avançado.
• Apache Airflow.
• Databricks.
• Conceitos de Spark e PySpark.
• Docker.
• Git.
• Conceitos de CI/CD.
• Azure DevOps.
• Modelagem de dados.
• ETL e ELT.
• APIs REST e integrações entre sistemas.
• Data Lake, Data Warehouse e Lakehouse.
• Tratamento de arquivos CSV, JSON, Parquet e formatos similares.
• Noções de observabilidade, logs e monitoramento de pipelines.
• Conhecimentos gerais de computação em nuvem, especialmente Microsoft Azure e AWS.
• Compreensão dos principais serviços de armazenamento, processamento, integração, rede, segurança e identidade em Azure e AWS.

Benefícios

• Desconto em cursos, universidades e instituições de idiomas;
• LinkedIn Learning - cursos online, gratuitos, atualizados e com certificado;
• Mentoring;
• Telemedicina gratuita para consultas com mais de 30 especialidades médicas, psicólogos e nutricionistas;
• Clube de vantagens e descontos nos melhores estabelecimentos;
• Clube de viagens;
• Convênio para Pet;
• e muito mais...