Pessoa Engenheira de Dados Sênior - Big Data

Extractta

United States

Remote

USD 140,000 - 210,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Vale Alimentação/Refeição
Convênio SES/Sesc com saúde, bem‑estar
Parceria com Instituições de Ensino
Auxílio para Certificações
Oportunidade de crescimento
Projetos estratégicos

Job summary

Extractta busca Engenheira de Dados Sênior para atuar em uma plataforma de dados de missão crítica e alta volumetria, nos EUA. Você projetará, construirá e manterá pipelines robustos, garantindo confiabilidade, qualidade e governança ao longo do ciclo de vida do dado.

Você liderará arquitetura, tuning e otimização de Spark, fará ETL/ELT, integrará dados de múltiplas fontes e trabalhará com equipes de Analytics, Produto e Engenharia.

Qualifications

  • Experiência sólida com Apache Spark processamento de alto volume em ambientes distribuídos, incluindo tuning e gestão de memória.
  • Conhecimento de Spark fora do Databricks (open source/kubernetes/EMR/Dataproc/Hadoop/YARN).
  • Senioridade em engenharia de dados, preferencialmente em ambientes críticos/financeiros.
  • Python avançado para processamento e transformação de dados.
  • SQL avançado, com foco em performance e modelagem.
  • Experiência com cloud (GCP/AWS) em cargas de dados em escala.
  • Modelagem de dados e pipelines ETL/ELT (dimensional e relacional).
  • Orquestração de workflows com Airflow ou ferramenta equivalente.
  • Versionamento com Git, testes e CI/CD em pipelines de dados.

Responsibilities

  • Projetar, desenvolver e manter pipelines de dados batch e streaming em alta volumetria, com confiabilidade e governança de ponta a ponta.
  • Processar e transformar grandes volumes de dados utilizando Apache Spark em ambiente distribuído.
  • Otimizar jobs Spark em produção (tuning, particionamento, gerenciamento de memória, controle de shuffle).
  • Modelar dados e construir processos de ETL/ELT, incluindo modelagem dimensional e relacional para consumo analítico e operacional.
  • Integrar dados de múltiplas fontes respeitando os padrões de arquitetura corporativa do banco.
  • Garantir qualidade, observabilidade, lineage e governança dos dados em toda a plataforma.
  • Orquestrar e versionar workflows de dados (ex.: Airflow), com práticas de CI/CD aplicadas a pipelines.
  • Colaborar com times de Analytics, Ciência de Dados, Produto e Engenharia na evolução da plataforma de dados.

Skills

Apache Spark
Python
SQL
Cloud (GCP/AWS)
Airflow
Git
CI/CD
ETL/ELT
Data modeling

Tools

Airflow
Terraform
Docker
Kubernetes

Job description

Resumo da vaga:

Buscamos uma pessoa Engenheira de Dados Sênior, para atuar em um dos maiores bancos digitais do Brasil, no coração de uma plataforma de dados de missão crítica e alta volumetria.

Você será responsável por projetar, construir e manter pipelines de dados robustos e de alta performance, processando grandes volumes transacionais e analíticos em ambiente distribuído, com foco em confiabilidade, qualidade e governança ao longo de todo o ciclo de vida do dado.

Esta posição exige domínio real de engenharia de dados em larga escala: buscamos um perfil técnico forte, autônomo e capaz de tomar decisões de arquitetura, tuning e otimização em cenários de Big Data.

Responsabilidades e atribuições:
  • Projetar, desenvolver e manter pipelines de dados batch e streaming em alta volumetria, com confiabilidade e governança de ponta a ponta.
  • Processar e transformar grandes volumes de dados utilizando Apache Spark em ambiente distribuído.
  • Otimizar jobs Spark em produção (tuning, particionamento, gerenciamento de memória, controle de shuffle) visando performance e custo.
  • Modelar dados e construir processos de ETL/ELT, incluindo modelagem dimensional e relacional para consumo analítico e operacional.
  • Integrar dados de múltiplas fontes respeitando os padrões de arquitetura corporativa do banco.
  • Garantir qualidade, observabilidade, lineage e governança dos dados em toda a plataforma.
  • Orquestrar e versionar workflows de dados (ex.: Airflow), com práticas de CI/CD aplicadas a pipelines.
  • Colaborar com times de Analytics, Ciência de Dados, Produto e Engenharia na evolução da plataforma de dados.
Requisitos e qualificações:
  • Apache Spark e Big Data em alta volumetria: experiência sólida e comprovada processando grandes volumes de dados com Spark em ambiente distribuído, incluindo tuning, particionamento, gerenciamento de memória e otimização de jobs em produção.
  • Spark além do Databricks: a vivência com Spark não pode ter se limitado ao uso dentro do Databricks. Buscamos profissionais que trabalharam com Spark em ambientes abertos ou autogerenciados (ex.: Spark open source, Spark on Kubernetes, AWS EMR, GCP Dataproc, clusters Hadoop/YARN), demonstrando domínio da engine fora de uma plataforma que abstrai essa complexidade.
  • Senioridade comprovada em Engenharia de Dados, preferencialmente em ambientes de missão crítica e/ou setor financeiro.
  • Python em nível avançado aplicado a processamento e transformação de dados.
  • SQL avançado (consultas complexas, performance e modelagem).
  • Experiência com cloud (GCP e/ou AWS) em cargas de dados em escala.
  • Modelagem de dados e construção de pipelines ETL/ELT (dimensional e relacional).
  • Orquestração de workflows com Airflow ou ferramenta equivalente.
  • Boas práticas de versionamento (Git), testes e CI/CD em pipelines de dados.
Desejáveis:
  • Scala aplicado a Spark.
  • Processamento em tempo real / streaming (Kafka, Spark Structured Streaming, Flink).
  • Ecossistema GCP: BigQuery, Dataproc, Dataflow, Cloud Composer.
  • dbt e abordagem de Lakehouse (Delta Lake, Iceberg); experiência com Databricks é bem-vinda como complemento à vivência com Spark aberto.
  • Governança de dados, data quality e catálogo de dados.
  • Infraestrutura como código (Terraform) e containerização (Docker/Kubernetes).
  • Vivência prévia no setor bancário ou financeiro, em ambientes regulados.
  • Certificações em cloud (GCP ou AWS) e/ou em Big Data.
Benefícios:
  • Vale Alimentação e/ou Vale Refeição;
  • Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
  • Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
  • Auxílio para Certificações;
  • Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
  • Oportunidade de trabalhar em uma empresa do mercado em plena expansão.
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Pessoa Engenheira de Dados Sênior
Pessoa Engenheira de Dados Sênior

Extractta • United States

Remote
USD 150,000 - 190,000
Vale Alimentação
Convênio Sesi/Sesc
Auxílio para Certificações
+2
Cientista de Dados SR (SSIS / SQL Server)
Cientista de Dados SR (SSIS / SQL Server)

Extractta • United States

Remote
USD 120,000 - 180,000
Vale Alimentação/Vale Refeição
Convênio Sesi e Sesc (saúde, bem-estar
Parcerias educacionais com descontos
Eng de Dados Pl/Sr [AFIRMATIVA PARA MULHERES]
Eng de Dados Pl/Sr [AFIRMATIVA PARA MULHERES]

DB | CRESCER com propósito! • United States

On-site
USD 90,000 - 130,000
Vale alimentação
Plano de saúde
Plano odontológico
+2
Pessoa Desenvolvedora Back-end JAVA Especialista
Pessoa Desenvolvedora Back-end JAVA Especialista

Vagas Internas • United States

Remote
USD 120,000 - 180,000
Databricks/Python Developer Senior | Remote
Databricks/Python Developer Senior | Remote

Compass Uol • United States

Remote
USD 120,000 - 180,000
Vale alimentação
Plano de saúde
Plano odontológico
+8
Engenheiro Sênior de Dados | Databricks
Engenheiro Sênior de Dados | Databricks

confidential • United States

Remote
USD 120,000 - 180,000
Data Engineer
Data Engineer

ioasys • United States

Hybrid
USD 90,000 - 150,000
Apoio emocional/terapia online
Descontos em produtos
Licença PET
+3
Engenheiro de Dados Pleno - Spark - operacoes pagamentos
Engenheiro de Dados Pleno - Spark - operacoes pagamentos

Sylision • United States

Remote
USD 21,000 - 32,000
Ambiente colaborativo
Trabalhe de qualquer lugar
Conexão global
+3
Engenheiro de Dados Sênior (Foco Machine Learning e IA) I Remoto
Engenheiro de Dados Sênior (Foco Machine Learning e IA) I Remoto

Lwsa • United States

Hybrid
USD 120,000 - 170,000
Auxílio Creche
Vale-Refeição
Vale-Transporte
+5
Engenheria /Ciencias de Dados - Junior, Pleno e Senior | Remoto
Engenheria /Ciencias de Dados - Junior, Pleno e Senior | Remoto

Solutis Tecnologias • United States

Remote
USD 95,000 - 160,000
Remote work