Consultor(a) Engenheiro(a) de Dados

HOUER CONSULTORIA E CONCESSÕES LTDA; Belo Horizonte; Presencial; BRL 111 600 - 167 400; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Gympass

Universidade corporativa

Programa de parcerias de desconto

Resumo da oferta

Uma empresa de consultoria e serviços em Belo Horizonte busca um(a) Engenheiro(a) de Dados para construir, manter e otimizar seu ecossistema de dados. O profissional será responsável por desenvolver pipelines robustos e garantir a qualidade e integridade dos dados. É essencial ter experiência em Python, SQL e ferramentas como Apache Spark e dbt. O ambiente é dinâmico e voltado para a inovação e impacto positivo.

Qualificações

• Experiência comprovada como Engenheiro(a) de Dados.
• Conhecimento profundo de Apache Spark e Delta Lake.
• Familiaridade com conceitos de Governança e Linhagem de Dados.

Responsabilidades

• Construir e otimizar pipelines de dados escaláveis (ETL-V) usando Spark e Delta Lake.
• Implementar lógica de transformação e modelos analíticos com dbt.
• Projetar e gerenciar fluxos de trabalho utilizando Apache Airflow.

Conhecimentos

Python

SQL avançado

Apache Spark

Delta Lake

dbt (Data Build Tool)

Apache Airflow

Governança de Dados

Linhagem de Dados

Formação académica

Formação superior em TI ou área correlata

Ferramentas

PostgreSQL

Open Metadata

Descrição da oferta de emprego

Sobre Nós

O Grupo Houer é uma das maiores empresas do Brasil que atua no segmento em consultoria e serviços empresariais, inovação e projetos de impacto. Atuamos no ramo da infraestrutura que impacta a vida de milhões de pessoas. Estruturamos e viabilizamos projetos de concessões, PPPs e de outras vertentes em diversas áreas de atuação por todas as regiões do Brasil.

Entendemos que é preciso pensar no futuro e nos impactos que deixaremos para as próximas gerações. Nossas ações visam, sobretudo, a vontade de contribuir com um mundo melhor e mais desenvolvido. O Time Houer é composto por mais de 550 colaboradores unidos e engajados em um só propósito: transformar o mundo e impactar gerações. Nossa sede está localizada em Belo Horizonte - Minas Gerais. Contamos com escritórios em todas as regiões do Brasil.

Somos impulsionados por pessoas e pessoas movem o mundo! Somos GPTW, uma das melhores empresas para se trabalhar. Este reconhecimento é um reflexo do nosso compromisso com o bem-estar dos nossos colaboradores e da nossa busca incessante por excelência e impacto em tudo o que fazemos.

Buscamos Engenheiro(a) de Dados para construir, manter e otimizar nosso ecossistema de dados. O papel é crucial na criação de pipelines robustos e, principalmente, na implementação de mecanismos de linhagem e rastreabilidade que suportem o rigoroso processo de certificação de origem de dados exigido pelo nosso Organismo de Inspeção Acreditada (OIA). Esta função garante a integridade, qualidade e auditabilidade de todo o fluxo de Big Data.

Responsabilidades

• Pipeline e Big Data: Construir e otimizar pipelines de dados escaláveis (ETL-V) usando Spark e Delta Lake.
• Transformação e Qualidade: Implementar lógica de transformação e modelos analíticos com dbt (Data Build Tool) nas camadas Preparation, Public e Trilhas.
• Orquestração: Projetar e gerenciar fluxos de trabalho resilientes utilizando Apache Airflow.
• Governança e Linhagem: Implementar e manter Open Metadata e Hive para registrar metadados e linhagem de dados fim a fim, vital para a certificação.
• Certificação (OIA): Desenvolver controles de auditoria, testes de consistência (data reconciliation) e documentação técnica para comprovar a origem e integridade dos dados, das fontes ao BI (PostgreSQL/Metabase).
• Infraestrutura Analítica: Otimizar o PostgreSQL para consumo por Business Intelligence, garantindo aderência aos requisitos de negócios.

Requisitos Técnicos Mandatórios

• Experiência comprovada como Engenheiro(a) de Dados.
• Proficiência em Python e SQL avançado.
• Conhecimento profundo de Apache Spark e Delta Lake.
• Experiência prática com dbt (Data Build Tool).
• Domínio na criação e gestão de DAGs no Apache Airflow.
• Familiaridade com conceitos e ferramentas de Governança de Dados e Linhagem de Dados (Data Lineage).
• Formação superior em TI ou área correlata.
• Conhecimento robusto em arquitetura de sistemas distribuídos e segurança de dados.

Diferenciais

• Governança e Big Data: Experiência com Arquitetura Data Lake (Delta Lake, Hudi ou Iceberg) e padrões de arquitetura medallion para garantia da qualidade dos dados.
• Integração de Sistemas Legados: Conhecimento da arquitetura e comportamento de Sistemas Legados (Silos/Mainframe) para garantir a extração e ingestão correta de dados críticos na camada Raw.
• Vivência anterior no setor público ou em sistemas de alta complexidade regulatória/auditoria.
• Controles de Auditoria e Metadados: Vivência em ambientes de alta complexidade regulatória (Setor Público, Financeiro) e uso de ferramentas de Metadados e Linhagem (Open Metadata ou similares) para rastreabilidade e certificação (ISO/IEC 27001).
• Experiência com Open Metadata ou similares.
• Infraestrutura Cloud Nativa: Conhecimento prático em ambientes Cloud (AWS, GCP ou Azure) e orquestração de contêineres (Docker/Kubernetes).

Perfil Comportamental

• Visão Crítica e Analítica: Natureza investigativa para questionar e entender o \"porquê\" de cada decisão técnica.
• Planejador e Estruturado: Habilidade para estruturar informações, criar documentação clara e planejar ações detalhadamente.
• Senso de Dono e Confiança: Agir com responsabilidade, ética e ser um representante confiável, vital para a relação com o OIA.
• Autonomia e Proatividade: Capacidade de investigar, aprender e aprofundar-se tecnicamente sem necessidade de microgerenciamento.
• Comunicação Excepcional: Habilidade para se comunicar de maneira objetiva e detalhada, traduzindo requisitos complexos e servindo como ponte técnica precisa.

PARCERIAS

• Gympass
• Universidade corporativa
• Programa de parcerias de desconto (psicólogos, nutricionistas, faculdades, contabilidade e etc.)
• Cultura humanizada e colaborativa.

Gostaria de trabalhar em uma grande empresa que seu objetivo é impactar positivamente a vida das pessoas? Então venha com a gente construir novas experiências!

Cadastre-se em nossa oportunidade e venha fazer parte do Grupo Houer que tem paixão por inovação e projetos de impacto.