Engenheiro de Dados Sênior

Extractta; United States; Remote; USD 140,000 - 190,000; Full time

Job summary

Extractta busca Engenheira de Dados para atuar com engenharia de dados e forte componente de desenvolvimento, mantendo/evoluindo serviços de backend. Você migrará sistemas legados para arquitetura moderna de dados em um ambiente de dados financeiros sensíveis (LGPD).

Responsabilidades incluem construir pipelines de dados escaláveis, trabalhar na fronteira dados + backend e garantir governança, qualidade e segurança. Será usado Spark, Kafka, Airflow e tecnologias de nuvem (GCP/AWS).

Qualifications

• Experiência sênior em engenharia de dados com Spark/PySpark.
• Experiência com Databricks (Unity Catalog, Delta, DLT) e pipelines declarative.
• Java/Spring Boot para backend e microsserviços.
• Python para processamento de dados e automação.
• Kafka para streaming de dados e integração.
• Google Cloud Platform (GCP) incluindo BigQuery, Dataproc/Dataflow, Pub/Sub e GCS.
• Modelagem de dados (esquema estrela) e SQL em bancos relacionais.
• Governança/qualidade de dados e LGPD.

Responsibilities

• Construir e manter pipelines de dados escaláveis (ingestão, transformação, consumo).
• Migrar serviços legados em Java/Spring Boot para arquitetura moderna de dados.
• Desenvolver com Spark/PySpark e Structured Streaming com Kafka.
• Garantir qualidade, governança e segurança dos dados (PII, LGPD).
• Orquestrar jobs com Airflow/Lakeflow, logs estruturados e observabilidade.
• Otimizar performance e custos com boas práticas de engenharia de software.

Skills

Spark

PySpark

Databricks

Java

Spring Boot

Python

Kafka

GCP

BigQuery

Dataflow

Airflow

Pub/Sub

GCS

SQL

LGPD

Tools

Terraform

Docker

Kubernetes

Grafana

Prometheus

Job description

Resumo da posição

Posição buscamos uma pessoa Engenheira de Dados para atuação com engenharia de dados e forte componente de desenvolvimento para manutenção/evolução de serviços de backend e migração de sistemas legados para arquitetura moderna de dados, num ambiente de dados financeiros sensíveis (LGPD).

Responsabilidades

• Construir e manter pipelines de dados escaláveis (ingestão, transformação, consumo) em arquitetura medalhão / Lakehouse;
• Trabalhar na fronteira dados + backend, incluindo manutenção/evolução e migração de serviços legados em Java/Spring Boot para arquitetura moderna de dados;
• Processamento com Spark (batch e streaming), incluindo Structured Streaming com Kafka;
• Garantir qualidade, governança e segurança dos dados: controle de acesso por catálogo/schema, mascaramento de PII, aderência à LGPD, quality checks, testes unitários e de integração;
• Orquestração e agendamento de jobs (Airflow / Lakeflow Jobs), logging estruturado, monitoramento e observabilidade;
• Otimização de performance e custos; aplicar boas práticas de engenharia de software (SOLID, design patterns, código limpo/manutenível);
• Colaborar com líderes técnicos, stakeholders de negócio e times multidisciplinares.

Requisitos (obrigatórios)

• Experiência sênior em engenharia de dados com Spark / PySpark (e, de preferência, Databricks — Unity Catalog, Delta, DLT/declarative pipelines, Lakeflow Jobs);
• Java / Spring Boot — backend, microsserviços, arquitetura orientada a eventos;
• Python;
• Kafka / streaming de dados;
• Google Cloud Platform (GCP) — incluindo BigQuery e serviços de dados do ecossistema GCP (ex.: Dataproc/Dataflow, Cloud Composer/Airflow, Pub/Sub, GCS);
• Modelagem de dados (star schema), SQL e bancos relacionais;
• Governança/qualidade de dados e boas práticas de LGPD.

Diferenciais

• Conhecimento de programação reativa com Vert.X ou Webflux;
• Certificação Databricks (Data Engineer Associate/Professional);
• Experiência em setor financeiro / regulado (birô de crédito);
• IaC (Terraform) e ownership de esteira CI/CD;
• Docker/Kubernetes, Great Expectations, observabilidade (Grafana/Prometheus);
• Cloud: AWS (S3, Glue, Athena, MWAA) e/ou Azure (Data Factory, Synapse, Event Hub).