Engenheiro de Dados Sênior

Vaganet; São Paulo; Hybrid; BRL 280,000 - 420,000; Full time

Job summary

A Vaganet procura um Engenheiro de Dados Sênior para atuar no desenvolvimento de soluções de dados em um ambiente internacional. O profissional atuará do ponta-a-ponta no ciclo de Engenharia de Dados, desde ingestão até disponibilização de dados, com forte foco em GCP.

O candidato ideal tem experiência prática com BigQuery, Python, SQL e orquestração com Cloud Composer/Airflow, lidando com fontes como SAP, Salesforce e APIs, para entregar dados de qualidade e prontos para consumo.

Qualifications

• Mínimo de 3 anos de experiência prática com GCP.
• Experiência na construção de pipelines de dados end-to-end (ETL/ELT, ingestão e transformação).
• Experiência prática com BigQuery.
• Experiência prática com Cloud Composer/Airflow.

Responsibilities

• Projetar, desenvolver e manter pipelines de dados end-to-end em GCP.
• Atuar na ingestão, transformação, modelagem, orquestração e disponibilização de dados.
• Desenvolver soluções com BigQuery, Python e SQL.

Skills

GCP

BigQuery

SQL

Python

ETL/ELT

Modelagem de dados

Troubleshooting

Inglês avançado

Espanhol avançado

Education

Graduação em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas

Tools

Cloud Composer

Airflow

SAP

Salesforce

APIs REST

Dataflow

Dataproc

Dataform

Analytics Hub

Kafka

Job description

Buscamos um(a) Engenheiro(a) de Dados Sênior com perfil hands-on e forte experiência prática em GCP, para atuar no desenvolvimento e evolução de soluções de dados em um ambiente complexo e internacional.

O profissional deverá ter capacidade de atuar de ponta a ponta no ciclo de Engenharia de Dados, desde a ingestão e integração de diferentes fontes até modelagem, transformação, orquestração e disponibilização dos dados para consumo.

Buscamos alguém que, além de conhecer a arquitetura e os serviços GCP, tenha experiência comprovada implementando diretamente essas soluções.

O ambiente envolve múltiplas fontes e sistemas, incluindo SAP, Salesforce e aplicações internas, com desafios relacionados à integração, harmonização e modelagem de dados de clientes.

Responsabilidades:

• Projetar, desenvolver e manter pipelines de dados end-to-end em GCP;

• Atuar na ingestão, transformação, modelagem, orquestração e disponibilização de dados;

• Desenvolver soluções utilizando BigQuery, Python e SQL;

• Implementar processos de orquestração com Cloud Composer/Airflow;

• Integrar dados de diferentes fontes, como SAP, Salesforce, APIs e bancos de dados;

• Transformar modelos de dados em implementações técnicas e código;

• Implementar integrações por meio de batch, APIs e/ou eventos/streaming;

• Atuar na harmonização, qualidade e consolidação de dados;

• Diagnosticar e solucionar problemas de pipelines, integrações, processamento, performance e ambiente GCP;

• Avaliar soluções considerando performance, escalabilidade, custo e manutenção;

• Interagir com times técnicos, negócio e stakeholders locais e globais;

• Contribuir tecnicamente com a squad e apoiar outros profissionais quando necessário.

Requisitos:

• Mínimo de 3 anos de experiência prática com GCP;

• Experiência na construção de pipelines de dados end-to-end, incluindo processos de ETL/ELT, ingestão e transformação;

• Experiência prática com BigQuery;

• Experiência prática com Cloud Composer/Airflow;

• Domínio de SQL;

• Experiência prática com Python;

• Experiência consistente com modelagem de dados;

• Experiência com integração de diferentes sistemas, fontes e bancos de dados;

• Capacidade de realizar troubleshooting e solucionar problemas de forma autônoma;

• Inglês avançado, com autonomia para participar e conduzir discussões técnicas com times globais;

• Espanhol avançado, para interação profissional com equipes da América Latina;

• Graduação em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.

Diferenciais:

• Experiência com Master Data Management (MDM) / Reltio;

• Experiência com Golden Record, Customer 360, matching/deduplicação ou survivorship rules;

• Experiência com SAP ECC/S4HANA;

• Experiência com Salesforce;

• Experiência com Kafka ou Pub/Sub;

• Experiência com APIs REST;

• Experiência com Dataflow, Dataproc, Dataform e Analytics Hub;

• Experiência com arquitetura Medallion, modelagem dimensional e/ou Data Vault;

• Experiência em projetos de migração ou ambientes multi-cloud;

• Conhecimentos de DevOps/CI/CD;

• Certificações Google Cloud.

Trabalho Híbrido: 1x presencial em São Paulo (Zona Sul).

Informações da vaga

• Modalidade: ON-SITE