Engenheiro(a) de Dados Pleno | Azure Databricks

BRQ Digital Solutions

São Paulo

Hybrid

BRL 120,000 - 210,000

Full time

4 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

A BRQ Digital Solutions está buscando uma Engenheira de Dados Pleno para atuar em migração e modernização de ambientes de dados com Azure Databricks. A vaga exige experiência prática em Python, PySpark e SQL, bem como conhecimento de ETLs e dados em lote.

Você irá migrar processos legados do PowerCenter para uma arquitetura moderna, assegurando qualidade, integridade e desempenho dos pipelines, com atuação em equipes multidisciplinares.

Qualifications

  • Experiência com ferramentas de inteligência artificial aplicadas ao desenvolvimento, como GitHub Copilot, Devin, Claude Code e Cursor.
  • Mínimo de 3 anos de experiência com Python e PySpark.
  • Experiência prática com Azure Databricks e Apache Spark.
  • Bons conhecimentos em SQL e PL/SQL.
  • Conhecimento dos principais serviços Azure, como Data Factory, Storage Accounts e Blob Storage.
  • Conhecimento em engenharia reversa de ETLs, com capacidade de analisar e interpretar processos legados.
  • Noções de programação orientada a objetos.
  • Familiaridade com Git para versionamento de código.
  • Conhecimento de processamento de dados em lote (Batch).

Responsibilities

  • Atuar na migração e modernização de projetos utilizando Python, SQL, Spark e Azure Databricks.
  • Desenvolver e manter pipelines de dados e processos de orquestração no Azure Data Factory.
  • Analisar e otimizar a performance e a escalabilidade dos processos de dados.
  • Desenvolver rotinas de automação para agilizar processos de homologação.
  • Realizar sustentação e manutenção das soluções de engenharia de dados implantadas.
  • Trabalhar em conjunto com equipes multidisciplinares para entender requisitos e entregar soluções.
  • Realizar engenharia reversa de ETLs, analisando e interpretando workflows, mapplets, mappings e sessions existentes no PowerCenter, identificando regras de negócio e dependências dos processos legados.
  • Conduzir validações de qualidade e consistência dos dados entre o ambiente legado (PowerCenter) e o novo ambiente, realizando testes de volumetria e integridade.

Skills

Python
PySpark
SQL
Apache Spark
Programação orientada a objetos
Batch processing
Engenharia reversa de ETLs
Git
GitHub Copilot
Devin
Claude Code
Cursor
Azure Databricks

Tools

Azure Databricks
PowerCenter
Git
GitHub Copilot
Devin
Claude Code
Cursor
Apache Spark
Azure Data Factory
Storage Accounts
Blob Storage

Job description

Sobre a oportunidade

Estamos em busca de uma pessoa Engenheira de Dados Pleno com experiência em Azure Databricks para atuar em um grande banco privado, participando de iniciativas de migração e modernização do ambiente de dados.

O desafio envolve a evolução de soluções de engenharia de dados, incluindo a migração de processos legados desenvolvidos em PowerCenter para uma arquitetura moderna baseada em Azure Databricks.

Buscamos uma pessoa com experiência em Python, PySpark e SQL, que tenha conhecimento em engenharia reversa de ETLs e capacidade de analisar fluxos existentes, compreender regras de negócio e garantir a consistência dos dados durante o processo de modernização.

Responsabilidades
  • Atuar na migração e modernização de projetos utilizando Python, SQL, Spark e Azure Databricks.

  • Desenvolver e manter pipelines de dados e processos de orquestração no Azure Data Factory.

  • Analisar e otimizar a performance e a escalabilidade dos processos de dados.

  • Desenvolver rotinas de automação para agilizar processos de homologação.

  • Realizar sustentação e manutenção das soluções de engenharia de dados implantadas.

  • Trabalhar em conjunto com equipes multidisciplinares para entender requisitos e entregar soluções.

  • Realizar engenharia reversa de ETLs, analisando e interpretando workflows, mapplets, mappings e sessions existentes no PowerCenter, identificando regras de negócio e dependências dos processos legados.

  • Conduzir validações de qualidade e consistência dos dados entre o ambiente legado (PowerCenter) e o novo ambiente, realizando testes de volumetria e integridade.

O que esperamos de você
  • Experiência com ferramentas de inteligência artificial aplicadas ao desenvolvimento, como GitHub Copilot, Devin, Claude Code e Cursor.

  • Mínimo de 3 anos de experiência com Python e PySpark.

  • Experiência prática com Azure Databricks e Apache Spark.

  • Bons conhecimentos em SQL e PL/SQL.

  • Conhecimento dos principais serviços Azure, como Data Factory, Storage Accounts e Blob Storage.

  • Conhecimento em engenharia reversa de ETLs, com capacidade de analisar e interpretar processos legados.

  • Noções de programação orientada a objetos.

  • Familiaridade com Git para versionamento de código.

  • Conhecimento de processamento de dados em lote (Batch).

Será um diferencial
  • Experiência com ambientes de Big Data on-premises, como Cloudera, Hadoop, Hive e HBase.

  • Noções de CI/CD e ferramentas como Jenkins.

  • Conhecimento em orquestradores de processos, como Control-M.

  • Capacidade de leitura e interpretação de código Java.

  • Noções de containers e tecnologias como Docker e Kubernetes/AKS.

Vamos construir o que importa?

Se você gosta de engenharia de dados, tem experiência com modernização de ambientes e quer participar de desafios que envolvem evolução tecnológica e transformação de soluções legadas, essa oportunidade pode ser para você!

Vem construir o que importa com a BRQ!

Vaga - bbbd8f

#LI-JO1

#LI-Hybrid

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro(a) de Dados Jr | Azure Databricks
Engenheiro(a) de Dados Jr | Azure Databricks

BRQ Digital Solutions • São Paulo

On-site
BRL 60,000 - 90,000
Engenheiro de Dados - Pleno
Engenheiro de Dados - Pleno

BRQ Digital Solutions • São Paulo

On-site
BRL 120,000 - 180,000
Plano de Saúde
Plano Odontológico
Seguro de Vida
+4
Engenheiro de Dados Junior
Engenheiro de Dados Junior

BRQ Digital Solutions • São Paulo

Hybrid
BRL 50,000 - 84,000
Engenheiro de Dados SR
Engenheiro de Dados SR

BRQ • São Paulo

Hybrid
BRL 150,000 - 220,000
Pessoa Engenheira de Dados Pleno/Sênior | Novos Projetos
Pessoa Engenheira de Dados Pleno/Sênior | Novos Projetos

BRQ • São Paulo

Hybrid
BRL 180,000 - 300,000
Engenheiro De Dados I Pleno I Rio De Janeiro - Rj
Engenheiro De Dados I Pleno I Rio De Janeiro - Rj

CSP Tech • Rio de Janeiro

On-site
BRL 100,000 - 145,000
Desenvolvedor Databricks/Python
Desenvolvedor Databricks/Python

Compass UOL • Brazil

On-site
BRL 120,000 - 180,000
Engenheiro(a) Sênior de Dados | Databricks
Engenheiro(a) Sênior de Dados | Databricks

Candidata ai • Brazil

On-site
BRL 260,000 - 420,000
Engenheiro de Dados Sênior
Engenheiro de Dados Sênior

4DF Connect • São Paulo

On-site
BRL 260,000 - 360,000
Engenheiro de Dados Databricks (Home Office/Brasil)
Engenheiro de Dados Databricks (Home Office/Brasil)

Programmers • Brazil

Hybrid
BRL 180,000 - 240,000
Política de Home Office
Plano de saúde nacional
Plano odontológico
+8