Engenheiro de Dados SR (GCP)

Extractta; Brasil; Teletrabalho; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A Extractta busca um Engenheiro(a) de Dados Sênior para atuar na construção, evolução e sustentação de plataformas modernas de dados em GCP, combinando engenharia de dados com desenvolvimento de software.

O profissional trabalhará com pipelines, Spark, Databricks, Java e Spring Boot, migração de sistemas legados e garantia de ambientes escaláveis, seguros e observáveis, atendendo exigências de conformidade.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e confiáveis em GCP.
• Trabalhar com BigQuery, Dataproc, Dataflow, Airflow, Pub/Sub e Cloud Storage.
• Construir arquiteturas de dados Lakehouse e Arquitetura Medalhão.
• Processar grandes volumes com Spark e PySpark.
• Desenvolver soluções com Databricks, Unity Catalog e Delta Lake.
• Construir pipelines de ingestão e processamento em tempo real com Kafka.
• Desenvolver backend em Java e Spring Boot.
• Trabalhar com microsserviços e arquiteturas orientadas a eventos.
• Conduzir migração de aplicações legadas para plataformas modernas.
• Aplicar boas práticas de software: OO, funcional, SOLID, Clean Code.
• Garantir qualidade, governança e segurança de dados no pipeline.
• Implementar controles de acesso a catálogo, schema e tabela.
• Trabalhar com proteção LGPD: mascaramento de dados e PII.
• Desenvolver testes unitários e de integração, validação de dados.
• Utilizar frameworks de Data Quality como Great Expectations.
• Logging estruturado, monitoramento e observabilidade.
• Troubleshooting de ambientes produtivos e identificação de causas.
• Modelagem de dados: Star Schema e modelos analíticos.
• Desenvolver SQL eficiente para consultas.
• Trabalhar com bancos de dados relacionais e ambientes distribuídos.
• Contribuir para a evolução técnica das plataformas de dados.

Descrição da oferta de emprego

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar na construção, evolução e sustentação de plataformas modernas de dados em Google Cloud Platform (GCP). Essa posição combina Engenharia de Dados e Desenvolvimento de Software, exigindo experiência sólida tanto na criação de pipelines de dados robustos e escaláveis quanto no desenvolvimento e modernização de serviços backend utilizando Java e Spring Boot. O(a) profissional terá papel importante na evolução de arquiteturas de dados modernas, migração de sistemas legados e garantia de ambientes escaláveis, seguros, observáveis e bem governados, atuando em um contexto com alto volume de dados, requisitos de segurança e conformidade.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e confiáveis em Google Cloud Platform (GCP).
• Trabalhar com serviços do ecossistema de dados do GCP, incluindo: BigQuery, Dataproc, Dataflow, Cloud Composer / Airflow, Pub/Sub, Cloud Storage.
• Construir e evoluir arquiteturas modernas de dados utilizando conceitos de Lakehouse e Arquitetura Medalhão.
• Processar grandes volumes de dados utilizando Spark e PySpark.
• Desenvolver e manter soluções utilizando Databricks, incluindo recursos como Unity Catalog, Delta Lake, pipelines declarativos / DLT, orquestração e execução de jobs.
• Construir pipelines de ingestão e processamento de dados em tempo real utilizando Kafka e Structured Streaming.
• Desenvolver, manter e modernizar aplicações e serviços backend utilizando Java e Spring Boot.
• Trabalhar com microsserviços e arquiteturas orientadas a eventos.
• Apoiar e conduzir processos de migração de aplicações e serviços legados para plataformas modernas de dados.
• Aplicar boas práticas de Engenharia de Software, incluindo Programação Orientada a Objetos, programação funcional, SOLID, Design Patterns, Clean Code, otimização de performance, gestão de débito técnico.
• Garantir qualidade, governança e segurança dos dados ao longo de todo o pipeline.
• Implementar controles de acesso em nível de catálogo, schema e tabela.
• Trabalhar com proteção e mascaramento de dados sensíveis e PII, garantindo conformidade com a LGPD.
• Desenvolver testes unitários, testes de integração e validações de qualidade de dados.
• Utilizar ferramentas e frameworks de Data Quality, como Great Expectations ou similares.
• Implementar práticas de logging estruturado, monitoramento e observabilidade.
• Atuar em troubleshooting de ambientes produtivos, análise de incidentes e identificação de causa raiz.
• Trabalhar com modelagem de dados, incluindo Star Schema e modelos analíticos.
• Desenvolver consultas e otimizações utilizando SQL.
• Trabalhar com bancos de dados relacionais e ambientes distribuídos.
• Participar da evolução técnica das plataformas e das decisões relacionadas à arquitetura de dados.