Engenheiro de Dados GCP Sênior - Remoto

Dataside; Brazil; Hybrid; BRL 350,000 - 520,000; Full time

Benefits offered by this job

Auxílio médico

Wellhub

Terapia online

Nutrição online

Seguro de vida R$125k

Day off no aniversário

Descanso remunerado

Gamificação interna

Parcerias educacionais

Job summary

Dataside está em busca de um Engenheiro de Dados Sênior com foco em GCP para atuar como referência técnica nos projetos, apoiando o Tech Lead e disseminando conhecimento na equipe. O papel exige autonomia para decisões de ponta a ponta, com foco em entregas escaláveis.

Você desenvolverá soluções robustas de engenharia de dados, definindo arquiteturas, otimizando pipelines, gerindo custos e promovendo melhoria contínua dos ambientes de dados, conectando valor aos objetivos de negócio.

Qualifications

• Experiência sólida em projetos de Engenharia de Dados de alta complexidade.
• Experiência avançada com Google Cloud Platform (GCP) e serviços de dados/analytics.
• Forte domínio de Python e SQL avançado.
• Experiência com Apache Spark e processamento distribuído.
• Experiência com BigQuery, modelagem, otimização de consultas e gestão de custos.
• Vivência com Cloud Composer (Airflow) e/ou Workflows para orquestração de pipelines.
• Experiência com processamento de dados batch e streaming.
• Conhecimento em Data Lakes, Data Warehouses e Lakehouse.
• Integração de dados via APIs RESTful e sistemas distribuídos.
• Práticas de CI/CD e infraestrutura como código.

Responsibilities

• Atuar como referência técnica nos projetos, conduzindo decisões arquiteturais com autonomia.
• Apoiar o Tech Lead na liderança técnica e estratégica das iniciativas.
• Projetar, desenvolver e otimizar pipelines de dados batch e streaming utilizando GCP.
• Realizar revisões técnicas, disseminar boas práticas e apoiar o desenvolvimento da equipe.
• Definir arquiteturas de dados escaláveis, resilientes e eficientes, considerando volume, performance e custo.
• Construir estratégias de melhoria de performance e otimização de custos em ambientes GCP.
• Diagnosticar gargalos técnicos e operacionais, propondo soluções sustentáveis.
• Trabalhar com integrações, APIs, sistemas distribuídos e grandes volumes de dados.
• Garantir governança, segurança, qualidade e observabilidade dos dados.
• Comunicar soluções técnicas de forma clara para áreas de negócio e tecnologia.
• Atuar de forma consultiva com clientes, propondo evoluções dos ambientes de dados.

Skills

Python

SQL avançado

Apache Spark

Data modeling

CI/CD

Tools

Cloud Composer (Airflow)

Dataproc

Dataflow

BigQuery

Pub/Sub

Terraform

GitHub Actions

Airflow

Dataplex

Dataform

Grafana

Great Expectations

Job description

Papel na empresa

O Engenheiro de Dados GCP Sênior na Dataside atua como referência técnica nos projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Possui autonomia para tomar decisões técnicas de ponta a ponta, garantindo entregas escaláveis, eficientes e alinhadas às necessidades do cliente.

Papel na empresa

O Engenheiro de Dados GCP Sênior na Dataside atua como referência técnica nos projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Possui autonomia para tomar decisões técnicas de ponta a ponta, garantindo entregas escaláveis, eficientes e alinhadas às necessidades do cliente.
Além de desenvolver soluções robustas de engenharia de dados, atua na definição de arquiteturas, otimização de pipelines, gestão de custos e melhoria contínua dos ambientes de dados. Realiza mentorias, revisões técnicas e compartilha boas práticas com o time.
Com visão estratégica sobre o valor dos dados, conecta as soluções técnicas aos objetivos de negócio, atuando como parceiro consultivo dos clientes e propondo soluções que impulsionem resultados.

Responsabilidades

• Atuar como referência técnica nos projetos, conduzindo decisões arquiteturais e técnicas com autonomia.
• Apoiar o Tech Lead na liderança técnica e estratégica das iniciativas.
• Projetar, desenvolver e otimizar pipelines de dados batch e streaming utilizando os serviços do Google Cloud Platform.
• Realizar revisões técnicas aprofundadas, disseminar boas práticas e apoiar o desenvolvimento de profissionais do time.
• Definir arquiteturas de dados escaláveis, resilientes e eficientes, considerando volume, performance e custo.
• Construir estratégias de melhoria de performance e otimização de custos em ambientes GCP.
• Diagnosticar gargalos técnicos e operacionais, propondo soluções sustentáveis.
• Trabalhar com múltiplas integrações, APIs, sistemas distribuídos e grandes volumes de dados.
• Garantir boas práticas de segurança, governança, qualidade e observabilidade dos dados.
• Comunicar soluções técnicas de forma clara para diferentes níveis de interlocução, incluindo áreas de negócio, tecnologia e gestão.
• Atuar de maneira consultiva junto aos clientes, identificando oportunidades de evolução e melhoria dos ambientes de dados.

Requisitos

• Experiência sólida em projetos de Engenharia de Dados de alta complexidade.
• Experiência avançada com Google Cloud Platform (GCP) e seus principais serviços de dados e analytics.
• Forte domínio de Python e SQL avançado.
• Experiência avançada com Apache Spark e processamento distribuído de dados.
• Experiência com BigQuery, incluindo modelagem, otimização de consultas e gestão de custos.
• Vivência na construção e orquestração de pipelines de dados utilizando Cloud Composer (Apache Airflow) e/ou Workflows.
• Experiência com processamento de dados batch e streaming.
• Conhecimento em arquitetura de Data Lakes, Data Warehouses e Lakehouse.
• Experiência com integração de dados via APIs RESTful e sistemas distribuídos.
• Conhecimento de práticas de CI/CD, versionamento de código e infraestrutura como código.
• Conhecimento de técnicas de modelagem de dados, como Data Vault, modelagem dimensional e 3NF.
• Experiência com governança, segurança, qualidade e observabilidade de dados.
• Capacidade de atuar em contextos de alta complexidade, com autonomia e visão arquitetural.
• Boa comunicação e habilidade para interagir com clientes e diferentes áreas da organização.

Hard Skills

• Google Cloud Platform (GCP): domínio dos serviços de dados e analytics da plataforma.
• BigQuery (avançado): otimização de consultas, particionamento, clustering, slots, materialized views, query execution plans e controle de custos.
• Cloud Storage (GCS): arquitetura de Data Lakes, organização, armazenamento e ciclo de vida dos dados.
• Dataflow: processamento distribuído, pipelines batch e streaming, Apache Beam e otimização de jobs.
• Dataproc: gerenciamento de clusters, processamento distribuído e execução de workloads com Apache Spark.
• Pub/Sub: arquitetura orientada a eventos, mensageria e processamento em tempo real.
• Cloud Composer: orquestração de pipelines de dados com Apache Airflow.
• Cloud Functions e Cloud Run: desenvolvimento e execução de serviços e componentes serverless.
• Dataplex: governança, descoberta, organização e gerenciamento de dados.
• Dataform: desenvolvimento, transformação e gerenciamento de pipelines SQL no BigQuery.
• Python: desenvolvimento avançado, boas práticas de engenharia de software, modularização e reutilização de componentes.
• Apache Spark: processamento distribuído, otimização de jobs, particionamento, caching, broadcast joins e gerenciamento de recursos.
• SQL avançado: tuning, otimização de consultas, modelagem e análise de planos de execução.
• Modelagem de dados: Data Vault, modelagem dimensional, 3NF e arquiteturas orientadas a eventos.
• Bancos de dados: experiência com bancos relacionais e NoSQL.
• CI/CD: Git, GitHub Actions, GitLab CI ou Cloud Build.
• Infraestrutura como código: Terraform e/ou ferramentas equivalentes.
• Qualidade e observabilidade: testes de dados, monitoramento, logging e ferramentas como Great Expectations, Prometheus e Grafana.
• Arquitetura de dados: Data Lake, Data Warehouse, Lakehouse, Data Mesh e Data Products.
• Segurança e governança: IAM, gerenciamento de permissões, criptografia, controle de acesso e políticas de governança no GCP.
• Otimização de custos: análise de consumo, dimensionamento de recursos e utilização de ferramentas de monitoramento e controle financeiro da GCP.

Soft Skills

• Liderança técnica e influência estratégica.
• Capacidade de aprender rapidamente e atuar em diferentes contextos tecnológicos.
• Clareza e profundidade na comunicação com áreas técnicas e de negócio.
• Postura consultiva, com escuta ativa e proatividade.
• Espírito de colaboração, mentoria e desenvolvimento de pessoas.
• Autonomia na tomada de decisões e resolução de problemas complexos.
• Organização, foco em entregas e alto senso de responsabilidade.
• Inglês intermediário

Certificações Desejáveis

• Google Cloud Professional Data Engineer.
• Google Cloud Associate Cloud Engineer.

Diferenciais

• Google Cloud Professional Cloud Architect.
• Google Cloud Professional Cloud Database Engineer.
• Experiência com arquiteturas modernas de dados em GCP.
• Experiência com Databricks integrado ao Google Cloud.
• Vivência com implementação de estratégias Data Mesh e Data Products.
• Experiência em projetos de migração de ambientes on-premises ou outras clouds para GCP.
• Experiência com otimização avançada de custos e performance em ambientes BigQuery e Dataflow.

O que oferecemos:

• Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
• Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
• Terapia online 100% custeada pela empresa, porque saúde mental importa.
• Atendimento em nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
• Seguro de vida com apólice no valor de R$ 125 mil, garantindo mais segurança para você e sua família.
• Day off no aniversário, porque o seu dia merece ser especial.
• Descanso remunerado, para que você possa recarregar as energias.
• Gamificação interna, transformando conquistas em prêmios e reconhecimento.
• Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
• Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.