Engenheiro de Dados - Pleno

BRQ Digital Solutions

São Paulo

On-site

BRL 120,000 - 180,000

Full time

2 days ago
Be an early applicant

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Plano de Saúde
Plano Odontológico
Seguro de Vida
Vale Refeição
Vale Alimentação
Horário Flexível
Home Office

Job summary

BRQ Digital Solutions busca Engenheira de Dados Pleno com experiência em Azure Databricks para migrar e modernizar o ambiente de dados em um grande banco privado.

Você atuará na evolução de soluções de engenharia de dados, migrando processos legados do PowerCenter para uma arquitetura baseada em Azure Databricks, com Python, PySpark e SQL, além de pipelines no Azure Data Factory e validações de qualidade entre ambientes.

Qualifications

  • Experiência de ≥3 anos com Python e PySpark.
  • Experiência prática com Azure Databricks e Apache Spark.
  • Conhecimentos sólidos em SQL e PL/SQL.
  • Conhecimento dos serviços Azure Data Factory, Storage Accounts e Blob Storage.
  • Engenharia reversa de ETLs e análise de processos legados.
  • Noções de OO e Git.
  • Processamento de dados em lote.

Responsibilities

  • Migrar e modernizar projetos utilizando Python, SQL, Spark e Azure Databricks.
  • Desenvolver e manter pipelines no Azure Data Factory.
  • Analisar e otimizar performance e escalabilidade dos dados.
  • Desenvolver rotinas de automação para homologação.
  • Realizar sustentação e manutenção das soluções implantadas.
  • Trabalhar com equipes multidisciplinares para entender requisitos e entregar soluções.
  • Engenharia reversa de ETLs, analisando workflows, mapplets e sessions do PowerCenter.
  • Conduzir validações de qualidade entre o legado PowerCenter e o novo ambiente.

Skills

Python
PySpark
SQL
PL/SQL
OOP
Batch processing
Data analysis

Tools

Azure Databricks
Apache Spark
PowerCenter
Git
Azure Data Factory
Storage Accounts
Blob Storage
Docker
Kubernetes
Jenkins

Job description

Sobre a oportunidade

Estamos em busca de uma pessoa Engenheira de Dados Pleno com experiência em Azure Databricks para atuar em um grande banco privado, participando de iniciativas de migração e modernização do ambiente de dados.

O desafio envolve a evolução de soluções de engenharia de dados, incluindo a migração de processos legados desenvolvidos em PowerCenter para uma arquitetura moderna baseada em Azure Databricks.

Buscamos uma pessoa com experiência em Python, PySpark e SQL, que tenha conhecimento em engenharia reversa de ETLs e capacidade de analisar fluxos existentes, compreender regras de negócio e garantir a consistência dos dados durante o processo de modernização.

Responsabilidades
  • Atuar na migração e modernização de projetos utilizando Python, SQL, Spark e Azure Databricks.
  • Desenvolver e manter pipelines de dados e processos de orquestração no Azure Data Factory.
  • Analisar e otimizar a performance e a escalabilidade dos processos de dados.
  • Desenvolver rotinas de automação para agilizar processos de homologação.
  • Realizar sustentação e manutenção das soluções de engenharia de dados implantadas.
  • Trabalhar em conjunto com equipes multidisciplinares para entender requisitos e entregar soluções.
  • Realizar engenharia reversa de ETLs, analisando e interpretando workflows, mapplets, mappings e sessions existentes no PowerCenter, identificando regras de negócio e dependências dos processos legados.
  • Conduzir validações de qualidade e consistência dos dados entre o ambiente legado (PowerCenter) e o novo ambiente, realizando testes de volumetria e integridade.
O que esperamos de você
  • Experiência com ferramentas de inteligência artificial aplicadas ao desenvolvimento, como GitHub Copilot, Devin, Claude Code e Cursor.
  • Mínimo de 3 anos de experiência com Python e PySpark.
  • Experiência prática com Azure Databricks e Apache Spark.
  • Bons conhecimentos em SQL e PL/SQL.
  • Conhecimento dos principais serviços Azure, como Data Factory, Storage Accounts e Blob Storage.
  • Conhecimento em engenharia reversa de ETLs, com capacidade de analisar e interpretar processos legados.
  • Noções de programação orientada a objetos.
  • Familiaridade com Git para versionamento de código.
  • Conhecimento de processamento de dados em lote (Batch).
Será um diferencial
  • Experiência com ambientes de Big Data on-premises, como Cloudera, Hadoop, Hive e HBase.
  • Noções de CI/CD e ferramentas como Jenkins.
  • Conhecimento em orquestradores de processos, como Control-M.
  • Capacidade de leitura e interpretação de código Java.
  • Noções de containers e tecnologias como Docker e Kubernetes/AKS.
Vamos construir o que importa?

Se você gosta de engenharia de dados, tem experiência com modernização de ambientes e quer participar de desafios que envolvem evolução tecnológica e transformação de soluções legadas, essa oportunidade pode ser para você!

Vem construir o que importa com a BRQ!

Vaga - bbbd8f

About The Company

A BRQ apoia empresas a evoluírem o digital que sustenta seus negócios, com um propósito claro: transformar problemas complexos em progresso. Combinamos especialistas, ferramentas e inteligência artificial para entregar com método e consistência, atuando em modernização de legado e dados, GenAI, e construção de produtos e experiências digitais.

Com mais de 33 anos e mais de 2.500 profissionais, estamos entre as maiores empresas de tecnologia do Brasil e atuamos em projetos de alta complexidade e escala. Somos reconhecidos como líderes em GenAI e inovação para grandes empresas no estudo ISG Provider Lens.

Aqui, nossa cultura tem nome: BRQ Way. São 3 pilares: Carreira e desenvolvimento, Saúde e bem-estar e Comunicação e conexão. Diversidade e inclusão fazem parte do nosso dia a dia, com grupos de afinidade como Colorful Roar, Black Roar e Girls Roar.

Benefícios: Plano de Saúde; Plano Odontológico; Seguro de Vida; Vale Refeição; Vale Alimentação; Horário Flexível; Home Office; Gympass, Telemedicina, Telenutrição, Canal de suporte emocional 24h e muito mais.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Engenheiro de Dados Junior
Engenheiro de Dados Junior

BRQ Digital Solutions • São Paulo

Hybrid
BRL 50,000 - 84,000
Pessoa Engenheira de Dados Pleno/Sênior | Novos Projetos
Pessoa Engenheira de Dados Pleno/Sênior | Novos Projetos

BRQ • São Paulo

Hybrid
BRL 180,000 - 300,000
Engenheiro(a) de Dados Pleno | Azure Databricks
Engenheiro(a) de Dados Pleno | Azure Databricks

BRQ Digital Solutions • São Paulo

Hybrid
BRL 120,000 - 210,000
Pessoa Engenharia IA Sênior
Pessoa Engenharia IA Sênior

BRQ Digital Solutions • Brazil

Hybrid
BRL 180,000 - 320,000
BRQ Academy
Mentoria e certificações
Engenheiro de Dados SR
Engenheiro de Dados SR

BRQ • São Paulo

Hybrid
BRL 150,000 - 220,000
Desenvolvedor Java -Pleno
Desenvolvedor Java -Pleno

BRQ Digital Solutions • São Paulo

Hybrid
BRL 134,000 - 201,000
Plano de Saúde
Plano Odontológico
Seguro de Vida
+7
Engenheiro(a) de Dados Jr | Azure Databricks
Engenheiro(a) de Dados Jr | Azure Databricks

BRQ Digital Solutions • São Paulo

On-site
BRL 60,000 - 90,000
Desenvolvedor(a) Backend Pleno | Java, Python & IA Generativa
Desenvolvedor(a) Backend Pleno | Java, Python & IA Generativa

BRQ Digital Solutions • Rio de Janeiro

Hybrid
BRL 120,000 - 190,000
Plano de saúde
Plano odontológico
Seguro de vida
+4
Desenvolvedor Java Backend - Pleno
Desenvolvedor Java Backend - Pleno

BRQ Digital Solutions • São Paulo

Hybrid
BRL 180,000 - 240,000
Plano de Saúde
Plano Odontológico
Seguro de Vida
+6
Pessoa de Engenheira de IA
Pessoa de Engenheira de IA

BRQ Digital Solutions • São Paulo

Hybrid
BRL 150,000 - 210,000
Plano de Saúde
Plano Odontológico
Seguro de Vida
+9