Engenheiro(a) de Dados Sênior (Databricks)

Experian Group; São Paulo; Presencial; BRL 300 000 - 420 000; Tempo integral

Resumo da oferta

A Experian Brasil procura Engenheiro(a) de Dados Sênior para construir e evoluir a plataforma de dados, com foco em ingestão, processamento e disponibilização de dados em larga escala. Você atuará desenvolvendo pipelines robustos com Databricks, contribuindo para governança, confiabilidade e escalabilidade do ecossistema de dados da empresa.

Perfil hands-on, com visão arquitetural, experiência em Lakehouse, Spark e pipelines de dados; colaboração com times de negócio, analytics e governança;

Qualificações

• Experiência sólida como Engenheiro(a) de Dados.
• Conhecimento de Databricks em ambientes produtivos.
• Experiência com Spark (PySpark ou Scala).
• Conhecimento de Data Lake/Lakehouse.
• Git e CI/CD.
• Modelagem de dados analítica.

Responsabilidades

• Desenvolver e manter pipelines de ingestão de dados batch e streaming utilizando Databricks.
• Projetar e implementar soluções de integração de dados provenientes de múltiplas fontes (APIs, bancos relacionais, arquivos, sistemas legados e SaaS).
• Construir e otimizar processos utilizando Apache Spark.
• Aplicar boas práticas de engenharia de dados, DataOps e observabilidade.
• Garantir qualidade, confiabilidade e performance dos pipelines.
• Atuar na modelagem e organização de dados em arquiteturas Lakehouse.
• Trabalhar em parceria com times de negócio, analytics, governança e plataforma.
• Apoiar a definição de padrões técnicos, frameworks reutilizáveis e melhores práticas de desenvolvimento.
• Conduzir troubleshooting e otimizações de performance em processos de dados críticos.
• Participar de iniciativas de modernização e evolução da plataforma de dados.

Conhecimentos

Databricks

Apache Spark

PySpark

Delta Lake

Data pipelines

Lakehouse

Git

CI/CD

Observability

Ferramentas

Databricks Workflows

Delta Lake

Spark Structured Streaming

REST APIs

Descrição da oferta de emprego

Role Overview

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar na construção e evolução da nossa plataforma de dados moderna, com foco em ingestão, processamento e disponibilização de dados em larga escala. O profissional será responsável por desenvolver pipelines robustos e escaláveis utilizando Databricks, contribuindo para a confiabilidade, governança e eficiência do ecossistema de dados da companhia.

Buscamos um perfil hands-on, com forte capacidade técnica, visão arquitetural e experiência em ambientes de dados corporativos de alta complexidade.

Principais responsabilidades

• Desenvolver e manter pipelines de ingestão de dados batch e streaming utilizando Databricks.
• Projetar e implementar soluções de integração de dados provenientes de múltiplas fontes (APIs, bancos relacionais, arquivos, sistemas legados e SaaS).
• Construir e otimizar processos utilizando Apache Spark.
• Aplicar boas práticas de engenharia de dados, DataOps e observabilidade.
• Garantir qualidade, confiabilidade e performance dos pipelines.
• Atuar na modelagem e organização de dados em arquiteturas Lakehouse.
• Trabalhar em parceria com times de negócio, analytics, governança e plataforma.
• Apoiar a definição de padrões técnicos, frameworks reutilizáveis e melhores práticas de desenvolvimento.
• Conduzir troubleshooting e otimizações de performance em processos de dados críticos.
• Participar de iniciativas de modernização e evolução da plataforma de dados.

Experience and Skills

• Experiência sólida como Engenheiro(a) de Dados.
• Experiência comprovada com Databricks em ambientes produtivos.
• Experiência com Apache Spark (PySpark ou Scala).
• Experiência no desenvolvimento de pipelines de ingestão e transformação de dados.
• Vivência com soluções de Data Lake e Lakehouse.
• Experiência com Git e processos de CI/CD.
• Conhecimento em modelagem de dados analítica.

Conhecimentos técnicos

• Python avançado.
• SQL avançado.
• Databricks Workflows.
• Delta Lake.
• Spark Structured Streaming.
• APIs REST.
• Arquiteturas modernas de dados.
• Otimização de performance em Spark.
• Controle e observabilidade de pipelines.
• Conceitos de governança e qualidade de dados.

Diferenciais

• Certificações Databricks.
• Experiência com Unity Catalog.
• Vivência com Terraform e Infrastructure as Code.
• Conhecimento em Kafka ou Event Hubs.
• Experiência com monitoramento utilizando Datadog.
• Conhecimento em Airflow.

Competências comportamentais

• Forte senso de ownership.
• Capacidade de atuar de forma autônoma e propositiva.
• Perfil colaborativo e focado em resolução de problemas.
• Boa comunicação com áreas técnicas e de negócio.
• Capacidade de influenciar decisões técnicas.
• Mentalidade de melhoria contínua.
• Visão sistêmica e foco em escalabilidade.

About Experian

A Experian é uma empresa global de dados e tecnologia que impulsiona oportunidades para pessoas e empresas ao redor do mundo. Atuamos em diversos mercados, como serviços financeiros, saúde, automotivo, agronegócio, seguros, entre outros. A Experian investe em pessoas e em novas tecnologias avançadas para liberar o poder dos dados. Contamos com uma equipe incrível de 25.200 colaboradores em 32 países.

Nosso singularidade é valorizar a sua. A cultura da Experian, centrada nas pessoas, inclusiva e orientada por propósito, é reconhecida por diversos prêmios - incluindo World's Best Workplaces™ 2025 (Top 25 global da Fortune) e Great Place To Work™ em 26 países, entre outros. Confira o Experian Life nas redes sociais ou explore nosso site de carreiras para entender o porquê. A Experian também se orgulha de ser uma empregadora que promove igualdade de oportunidades e ação afirmativa.

A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem-estar.

A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos.

Experian Careers - Creating a better tomorrow together