Engenheiro de Dados SR (GCP)

Extractta; United States; Remote; USD 140,000 - 190,000; Full time

Benefits offered by this job

Vale Alimentação

Vale Refeição

Convênio Saúde

Auxílio Certificações

Crescimento profissional

Projetos estratégicos

Job summary

Extractta procura uma Engenheira de Dados Sênior para construir, evoluir e sustentar plataformas modernas de dados em Google Cloud Platform (GCP). A função combina engenharia de dados e desenvolvimento de software, exigindo pipelines robustos com Spark/PySpark e serviços GCP como BigQuery, Dataflow e Pub/Sub.

Você trabalhará com Databricks, Lakehouse e governança de dados, migração de sistemas legados e ambientes escaláveis, seguros e observáveis.

Qualifications

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em grandes empresas.
• Experiência prática com Google Cloud Platform (GCP).
• Conhecimento avançado em BigQuery.
• Experiência com Spark e PySpark.
• Databricks, Delta Lake e Unity Catalog são diferenciais.
• Inglês avançado.

Responsibilities

• Construir, desenvolver e manter pipelines de dados escaláveis em GCP.
• Trabalhar com BigQuery, Dataproc, Dataflow, Pub/Sub e Storage.
• Aplicar governança, segurança e qualidade de dados ao pipeline.
• Desenvolver backend em Java/Spring Boot e APIs.
• Atuar com Kafka e streaming de dados, além de observabilidade.

Skills

GCP

BigQuery

Spark/PySpark

Databricks

Kafka

Java/Spring Boot

SQL

Data Modeling

Data Governance

Observability

Tools

Airflow

Unity Catalog

Delta Lake

Job description

Resumo da vaga:

Buscamos uma pessoa Engenheira de Dados Sênior para atuar na construção, evolução e sustentação de plataformas modernas de dados em Google Cloud Platform (GCP).

Essa posição combina Engenharia de Dados e Desenvolvimento de Software, exigindo experiência sólida tanto na criação de pipelines de dados robustos e escaláveis quanto no desenvolvimento e modernização de serviços backend utilizando Java e Spring Boot.

A pessoa profissional terá papel importante na evolução de arquiteturas de dados modernas, migração de sistemas legados e garantia de ambientes escaláveis, seguros, observáveis e bem governados, atuando em um contexto com alto volume de dados, requisitos de segurança e conformidade.

Buscamos alguém com sólida experiência em Spark, PySpark, Databricks e GCP, além de bons fundamentos de Engenharia de Software e capacidade para transitar entre os universos de dados e desenvolvimento backend.

Responsabilidades e atribuições:

• Projetar, desenvolver e manter pipelines de dados escaláveis e confiáveis em Google Cloud Platform (GCP).

• Trabalhar com serviços do ecossistema de dados do GCP, incluindo:

  • BigQuery;

  • Dataproc;

  • Dataflow;

  • Cloud Composer / Airflow;

  • Pub/Sub;

  • Cloud Storage.

• Construir e evoluir arquiteturas modernas de dados utilizando conceitos de Lakehouse e Arquitetura Medalhão.

• Processar grandes volumes de dados utilizando Spark e PySpark.

• Desenvolver e manter soluções utilizando Databricks, incluindo recursos como:

  • Unity Catalog;

  • Delta Lake;

  • pipelines declarativos / DLT;

  • orquestração e execução de jobs.

• Construir pipelines de ingestão e processamento de dados em tempo real utilizando Kafka e Structured Streaming.

• Desenvolver, manter e modernizar aplicações e serviços backend utilizando Java e Spring Boot.

• Trabalhar com microsserviços e arquiteturas orientadas a eventos.

• Apoiar e conduzir processos de migração de aplicações e serviços legados para plataformas modernas de dados.

• Aplicar boas práticas de Engenharia de Software, incluindo:

  • Programação Orientada a Objetos;

  • programação funcional;

  • SOLID;

  • Design Patterns;

  • Clean Code;

  • otimização de performance;

  • gestão de débito técnico.

• Garantir qualidade, governança e segurança dos dados ao longo de todo o pipeline.

• Implementar controles de acesso em nível de catálogo, schema e tabela.

• Trabalhar com proteção e mascaramento de dados sensíveis e PII, garantindo conformidade com a LGPD.

• Desenvolver testes unitários, testes de integração e validações de qualidade de dados.

• Utilizar ferramentas e frameworks de Data Quality, como Great Expectations ou similares.

• Implementar práticas de logging estruturado, monitoramento e observabilidade.

• Atuar em troubleshooting de ambientes produtivos, análise de incidentes e identificação de causa raiz.

• Trabalhar com modelagem de dados, incluindo Star Schema e modelos analíticos.

• Desenvolver consultas e otimizações utilizando SQL.

• Trabalhar com bancos de dados relacionais e ambientes distribuídos.

• Participar da evolução técnica das plataformas e das decisões relacionadas à arquitetura de dados.

Requisitos e qualificações:

• Experiência sólida como Engenheiro(a) de Dados, preferencialmente em ambientes corporativos de grande porte.

• Experiência prática com Google Cloud Platform (GCP).

• Conhecimento avançado em BigQuery.

• Experiência com serviços de dados do GCP, como Dataproc, Dataflow, Cloud Composer, Pub/Sub e Cloud Storage.

• Experiência sólida com Spark e PySpark.

• Experiência prática com Databricks.

• Conhecimento de Delta Lake, Unity Catalog e pipelines de dados em Databricks.

• Experiência com processamento de dados em streaming utilizando Kafka.

• Experiência sólida em desenvolvimento de software utilizando Java e Spring Boot.

• Experiência com desenvolvimento de APIs, microsserviços e arquiteturas orientadas a eventos.

• Conhecimentos sólidos de Engenharia de Software e boas práticas de desenvolvimento.

• Experiência com SQL e bancos de dados relacionais.

• Conhecimento em modelagem de dados e arquitetura analítica.

• Experiência com testes de software e qualidade de dados.

• Conhecimento de práticas de governança, segurança e controle de acesso a dados.

• Conhecimento de LGPD e proteção de dados sensíveis.

• Experiência com monitoramento, observabilidade e troubleshooting de ambientes produtivos.

• Boa capacidade analítica e de resolução de problemas.

• Boa comunicação para interação com times técnicos e áreas de negócio.

• Inglês avançado.

Desejáveis:

• Certificações Databricks Data Engineer Associate ou Professional.

• Experiência em setores regulados, financeiros, seguros ou ambientes com dados sensíveis.

• Conhecimento de Terraform e Infrastructure as Code (IaC).

• Experiência com construção e manutenção de pipelines de CI/CD.

• Conhecimento de Docker e Kubernetes.

• Experiência com ferramentas de observabilidade como Grafana e Prometheus.

• Experiência com outras plataformas de cloud, como AWS ou Microsoft Azure.

• Vivência com metodologias ágeis, como Scrum ou Kanban.

• Inglês técnico para leitura de documentação e interação com times internacionais.

Benefícios:

• Vale Alimentação e/ou Vale Refeição;
• Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;
• Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;
• Auxílio para Certificações;
• Possibilidade de crescimento na empresa e de participação em projetos estratégicos;
• Oportunidade de trabalhar em uma empresa do mercado em plena expansão.