Analista de Engenharia de Dados III

Experian Group; São Paulo; Híbrido; BRL 180 000 - 280 000; Tempo integral

Resumo da oferta

A Experian Group está buscando um Engenheiro de Dados Sênior para atuar com grandes volumes de dados em um ambiente escalável, utilizando principalmente Apache Spark/Python em Databricks.

O profissional será responsável por desenvolver, otimizar e manter pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes, colaborando com times de negócio e analytics para garantir dados estruturados e seguros.

Qualificações

• Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados.
• Conhecimento sólido em processos de ETL/ELT, garantindo a integração, qualidade e disponibilidade das informações.
• Experiência em Engenharia de Dados, com desenvolvimento, manutenção e otimização de pipelines escaláveis.
• Vivência em arquitetura e modelagem de dados, assegurando estruturação eficiente das informações.
• Experiência na integração de dados de múltiplas fontes e sistemas.
• Atuação em ambientes Cloud e ecossistemas de Big Data.
• Conhecimento de governança, qualidade, segurança e performance de dados.
• Capacidade de desenvolver soluções robustas e escaláveis alinhadas às necessidades do negócio.

Responsabilidades

• Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).
• Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
• Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.
• Conhecimento de git controle de versionamento, pull requests.
• Análise, melhoria e otimização de custos e performance em Databricks.
• Implementar Data Quality.
• Criar documentação clara das demandas.
• Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.

Conhecimentos

Databricks

ETL/ELT

Data Engineering

Data architecture & modeling

Data governance & security

Cloud & Big Data

Ferramentas

Spark

Python

Delta Lake

Descrição da oferta de emprego

Role Overview

Estamos buscando um Engenheiro de Dados Sênior para atuar comgrandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes. Entre As Principais Atividades, Destacam-se

• Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).
• Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
• Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake.
• Conhecimento de git controle de versionamento, pull requests.
• Análise, melhoria e otimização de custos e performance em Databricks.
• Implementar Data Quality.
• Criar documentação clara das demandas.
• Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.

Experience and Skills

• Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados.
• Conhecimento sólido em processos de ETL/ELT, garantindo a integração, qualidade e disponibilidade das informações.
• Experiência em Engenharia de Dados, com desenvolvimento, manutenção e otimização de pipelines escaláveis.
• Vivência em arquitetura e modelagem de dados, assegurando a estruturação eficiente das informações.
• Experiência na integração de dados provenientes de múltiplas fontes e sistemas.
• Atuação em ambientes Cloud e ecossistemas de Big Data.
• Conhecimento de boas práticas de governança, qualidade, segurança e performance de dados.
• Capacidade de desenvolver soluções robustas e escaláveis alinhadas às necessidades do negócio.
• Perfil analítico, com habilidade para identificar oportunidades de melhoria e otimização de processos de dados.
• Facilidade para atuar em times multidisciplinares e traduzir demandas de negócio em soluções técnicas eficientes.

About Experian

A Experian é uma empresa global de dados e tecnologia que impulsiona oportunidades para pessoas e empresas ao redor do mundo. Atuamos em diversos mercados, como serviços financeiros, saúde, automotivo, agronegócio, seguros, entre outros. A Experian investe em pessoas e em novas tecnologias avançadas para liberar o poder dos dados. Contamos com uma equipe incrível de 25.200 colaboradores em 32 países.

Nossa singularidade é valorizar a sua. A cultura da Experian, centrada nas pessoas, inclusiva e orientada por propósito, é reconhecida por diversos prêmios — incluindo World’s Best Workplaces 2025 (Top 25 global da Fortune) e Great Place To Work em 26 países, entre outros. Confira o Experian Life nas redes sociais ou explore nosso site de carreiras para entender o porquê. A Experian também se orgulha de ser uma empregadora que promove igualdade de oportunidades e ação afirmativa.

A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem-estar.

A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com a avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos.

Experian Careers - Creating a better tomorrow together

Find out what its like to work for Experian by clicking here