Engenheira de Dados Sênior: Pipelines de Big Data em Spark

Extractta; United States; Remote; USD 140,000 - 210,000; Full time

Benefits offered by this job

Vale Alimentação/Refeição

Convênio SES/Sesc com saúde, bem‑estar

Parceria com Instituições de Ensino

Auxílio para Certificações

Oportunidade de crescimento

Projetos estratégicos

Job summary

Extractta busca Engenheira de Dados Sênior para atuar em uma plataforma de dados de missão crítica e alta volumetria, nos EUA. Você projetará, construirá e manterá pipelines robustos, garantindo confiabilidade, qualidade e governança ao longo do ciclo de vida do dado.

Você liderará arquitetura, tuning e otimização de Spark, fará ETL/ELT, integrará dados de múltiplas fontes e trabalhará com equipes de Analytics, Produto e Engenharia.

Qualifications

• Experiência sólida com Apache Spark processamento de alto volume em ambientes distribuídos, incluindo tuning e gestão de memória.
• Conhecimento de Spark fora do Databricks (open source/kubernetes/EMR/Dataproc/Hadoop/YARN).
• Senioridade em engenharia de dados, preferencialmente em ambientes críticos/financeiros.
• Python avançado para processamento e transformação de dados.
• SQL avançado, com foco em performance e modelagem.
• Experiência com cloud (GCP/AWS) em cargas de dados em escala.
• Modelagem de dados e pipelines ETL/ELT (dimensional e relacional).
• Orquestração de workflows com Airflow ou ferramenta equivalente.
• Versionamento com Git, testes e CI/CD em pipelines de dados.

Responsibilities

• Projetar, desenvolver e manter pipelines de dados batch e streaming em alta volumetria, com confiabilidade e governança de ponta a ponta.
• Processar e transformar grandes volumes de dados utilizando Apache Spark em ambiente distribuído.
• Otimizar jobs Spark em produção (tuning, particionamento, gerenciamento de memória, controle de shuffle).
• Modelar dados e construir processos de ETL/ELT, incluindo modelagem dimensional e relacional para consumo analítico e operacional.
• Integrar dados de múltiplas fontes respeitando os padrões de arquitetura corporativa do banco.
• Garantir qualidade, observabilidade, lineage e governança dos dados em toda a plataforma.
• Orquestrar e versionar workflows de dados (ex.: Airflow), com práticas de CI/CD aplicadas a pipelines.
• Colaborar com times de Analytics, Ciência de Dados, Produto e Engenharia na evolução da plataforma de dados.

Skills

Apache Spark

Python

SQL

Cloud (GCP/AWS)

Airflow

Git

CI/CD

ETL/ELT

Data modeling

Tools

Airflow

Terraform

Docker

Kubernetes

Job description

Extractta busca Engenheira de Dados Sênior para atuar em uma plataforma de dados de missão crítica e alta volumetria, nos EUA. Você projetará, construirá e manterá pipelines robustos, garantindo confiabilidade, qualidade e governança ao longo do ciclo de vida do dado.

Você liderará arquitetura, tuning e otimização de Spark, fará ETL/ELT, integrará dados de múltiplas fontes e trabalhará com equipes de Analytics, Produto e Engenharia.