Engenheiro de Dados Pleno

Indra Group; São Paulo; Híbrido; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A Indra Group procura engenheiro/a de dados para desenvolver, manter e otimizar pipelines de dados usando Databricks, PySpark e Delta Lake. O candidato deverá garantir qualidade, governança e desempenho, trabalhando próximo a analistas e equipes de negócio.

Receberá atuação híbrida em São Paulo, com foco em transformação de dados, modelagem de dados e observabilidade de pipelines, assegurando soluções escaláveis e eficientes.

Qualificações

• Experiência com Databricks para desenvolvimento, execução e otimização de pipelines de dados.
• Conhecimento em Delta Lake, incluindo versionamento de dados.
• Habilidade em SQL, incluindo construção de queries, modelagem e tuning de performance.
• Boas práticas de engenharia de software aplicadas a dados: versionamento, testes, monitoramento e observabilidade.
• Capacidade de análise de requisitos de negócio, transformando-os em soluções de dados escaláveis e eficientes.
• Desenvolver em Python, SQL, PySpark e Databricks Python com ênfase em bibliotecas para manipulação de dados (PySpark, Pandas).

Responsabilidades

• Desenvolver e manter fluxos de ingestão, transformação e entrega de dados, garantindo que as informações estejam acessíveis, íntegras e atualizadas para os usuários de negócio.
• Trabalhar em conjunto com analistas, cientistas de dados e equipes de negócio, traduzindo demandas em soluções de dados viáveis e eficientes.
• Modelar dados estruturados e não estruturados, assegurando organização, governança e consistência ao longo dos projetos.
• Garantir a qualidade dos dados através de validação, auditoria e monitoramento contínuo.
• Investigar e solucionar problemas de performance, falhas de pipeline e inconsistências nos dados.
• Documentar processos, fluxos e regras de negócio aplicadas, promovendo transparência e facilitar manutenção.
• Participar de reuniões técnicas e alinhamento com stakeholders, comunicando avanços, riscos e limitações dos projetos.
• Adaptar-se rapidamente a novos contextos e demandas, demonstrando curiosidade para aprender novas abordagens e boas práticas.

Conhecimentos

Databricks

SQL

Python

PySpark

Ferramentas

Delta Lake

Databricks

Pandas

Descrição da oferta de emprego

Desenvolver e manter fluxos de ingestão, transformação e entrega de dados, garantindo que as informações estejam acessíveis, íntegras e atualizadas para os usuários de negócio.

Trabalhar em conjunto com analistas, cientistas de dados e equipes de negócio, compreendendo suas necessidades e traduzindo essas demandas em soluções de dados viáveis e eficientes.

Modelar dados estruturados e não estruturados, assegurando sua organização, governança e consistência ao longo dos projetos.

Garantir a qualidade dos dados, implementando processos de validação, auditoria e monitoramento contínuo.

Investigar e solucionar problemas relacionados à performance, falhas de pipeline e inconsistências nos dados, atuando de forma proativa para evitar recorrências.

Documentar processos, fluxos e regras de negócio aplicadas nas soluções desenvolvidas, promovendo a transparência e facilitando a manutenção dos sistemas de dados.

Participar ativamente de reuniões técnicas e de alinhamento com stakeholders, comunicando de forma clara os avanços, riscos e limitações dos projetos em andamento.

Adaptar-se rapidamente a novos contextos e demandas, demonstrando curiosidade e iniciativa para aprender novas abordagens, padrões e boas práticas.

Experiência:

Experiência com Databricks para desenvolvimento, execução e otimização de pipelines de dados.Conhecimento em Delta Lake, incluindo versionamento de dados.

Habilidade em SQL, incluindo construção de queries , modelagem e tuning de performance.

Boas práticas de engenharia de software aplicadas a dados: versionamento, testes, monitoramento e observabilidade.

Capacidade de análise de requisitos de negócio, transformando-os em soluções de dados escaláveis e eficientes

Desenvolver em Python, SQL, PySpark e Databrics Python com ênfase em bibliotecas para manipulação de dados (PySpark, Pandas, etc.

Modalidade: CLT - Hibrido - (3x) - São Paulo - Interlagos