Engenheiro(a) de Dados Sênior (Databricks)

Experian; São Paulo; On-site; BRL 300,000 - 420,000; Full time

Job summary

A Experian está recrutando um(a) Engenheiro(a) de Dados Sênior para conduzir a construção e evolução de uma plataforma de dados moderna, com foco em ingestão, processamento e disponibilização em larga escala. O profissional atuará com Databricks, Spark e Lakehouse.

O candidato ideal possui perfil hands-on, visão arquitetural e atuação em ambientes corporativos de alta complexidade, trabalhando com governança, observabilidade e melhoria contínua de pipelines de dados.

Qualifications

• Desenvolver pipelines de ingestão de dados batch e streaming com Databricks.
• Projetar soluções de integração de dados de várias fontes e SaaS.
• Construir e otimizar processos com Apache Spark para alta performance.

Responsibilities

• Desenvolver pipelines de ingestão de dados batch e streaming usando Databricks.
• Integrar dados de APIs, bancos relacionais, arquivos e legados.
• Construir e otimizar pipelines com Apache Spark.
• Aplicar DataOps, governança e observabilidade de dados.
• Garantir qualidade e performance de pipelines de dados.

Skills

Databricks

Apache Spark

Python

SQL

Git

CI/CD

Data Lake

Lakehouse

REST APIs

Airflow

Terraform

Kafka

Education

Tools

Databricks

Delta Lake

Unity Catalog

Terraform

Airflow

Kafka

Datadog

Job description

Role Overview

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar na construção e evolução da nossa plataforma de dados moderna, com foco em ingestão, processamento e disponibilização de dados em larga escala. O profissional será responsável por desenvolver pipelines robustos e escaláveis utilizando Databricks, contribuindo para a confiabilidade, governança e eficiência do ecossistema de dados da companhia.

Buscamos um perfil hands-on, com forte capacidade técnica, visão arquitetural e experiência em ambientes de dados corporativos de alta complexidade.

Principais responsabilidades:

• Desenvolver e manter pipelines de ingestão de dados batch e streaming utilizando Databricks.
• Projetar e implementar soluções de integração de dados provenientes de múltiplas fontes (APIs, bancos relacionais, arquivos, sistemas legados e SaaS).
• Construir e otimizar processos utilizando Apache Spark.
• Aplicar boas práticas de engenharia de dados, DataOps e observabilidade.
• Garantir qualidade, confiabilidade e performance dos pipelines.
• Atuar na modelagem e organização de dados em arquiteturas Lakehouse.
• Trabalhar em parceria com times de negócio, analytics, governança e plataforma.
• Apoiar a definição de padrões técnicos, frameworks reutilizáveis e melhores práticas de desenvolvimento.
• Conduzir troubleshooting e otimizações de performance em processos de dados críticos.
• Participar de iniciativas de modernização e evolução da plataforma de dados.

Experience and Skills

• Experiência sólida como Engenheiro(a) de Dados.
• Experiência comprovada com Databricks em ambientes produtivos.
• Experiência com Apache Spark (PySpark ou Scala).
• Experiência no desenvolvimento de pipelines de ingestão e transformação de dados.
• Vivência com soluções de Data Lake e Lakehouse.
• Experiência com Git e processos de CI/CD.
• Conhecimento em modelagem de dados analítica.

Conhecimentos técnicos:

• Python avançado.
• SQL avançado.
• Databricks Workflows.
• Delta Lake.
• Spark Structured Streaming.
• APIs REST.
• Arquiteturas modernas de dados.
• Otimização de performance em Spark.
• Controle e observabilidade de pipelines.
• Conceitos de governança e qualidade de dados.

Diferenciais:

• Certificações Databricks.
• Experiência com Unity Catalog.
• Vivência com Terraform e Infrastructure as Code.
• Conhecimento em Kafka ou Event Hubs.
• Experiência com monitoramento utilizando Datadog.
• Conhecimento em Airflow.

Competências comportamentais:

• Forte senso de ownership.
• Capacidade de atuar de forma autônoma e propositiva.
• Perfil colaborativo e focado em resolução de problemas.
• Boa comunicação com áreas técnicas e de negócio.
• Capacidade de influenciar decisões técnicas.
• Mentalidade de melhoria contínua.
• Visão sistêmica e foco em escalabilidade.

About Experian

A Experian é uma empresa global de dados e tecnologia que impulsiona oportunidades para pessoas e empresas ao redor do mundo. Atuamos em diversos mercados, como serviços financeiros, saúde, automotivo, agronegócio, seguros, entre outros. A Experian investe em pessoas e em novas tecnologias avançadas para liberar o poder dos dados. Contamos com uma equipe incrível de 25.200 colaboradores em 32 países.

Nossa singularidade é valorizar a sua. A cultura da Experian, centrada nas pessoas, inclusiva e orientada por propósito, é reconhecida por diversos prêmios incluindoWorld’s Best Workplaces 2025(Top 25 global da Fortune) eGreat Place To Work em 26 países, entre outros.Confira o Experian Life nas redes sociais ou explore nosso site de carreiras para entender o porquê. A Experian também se orgulha de ser uma empregadora que promove igualdade de oportunidades e ação afirmativa. Caso você tenha alguma deficiência ou necessidade que exija adaptação, pedimos que nos informe o quanto antes.

Our uniqueness is that we celebrate yours. Experian's people first, inclusive and purpose driven culture is multi award-winning; World's Best Workplaces 2025 (Fortune Global Top 25), Great Place To Work in 26 countries to name a few. Check out Experian Life on social or explore our Careers Site to understand why. Experian is also proud to be an Equal Opportunity and affirmative Action employer. If you have a disability or special need that requires accommodation, please let us know at the earliest opportunity.

Experian Careers - Creating a better tomorrow together