Engenheiro de Dados Sênior (GCP)

PDG IT Soluções em Tecnologia LTDA; São Paulo; On-site; BRL 180,000 - 240,000; Full time

Job summary

A PDG IT Soluções em Tecnologia LTDA busca um profissional para projetar, implementar e otimizar pipelines de dados de alta performance no ecossistema Google Cloud Platform (GCP). O foco é entregar soluções escaláveis, seguras e com gestão de custos eficiente, trabalhando próximo a cientistas e analistas de dados.

O candidato ideal tem experiência com BigQuery, Dataflow, Cloud Storage, SQL avançado e Python para ETL, além de expertise em ingestão em tempo real (Pub/Sub) e nos aspectos de

Qualifications

• Experiência sólida em GCP, com foco em BigQuery, Dataflow e Cloud Storage.
• Domínio avançado de SQL e Python para automações e ETL.
• Prática com ingestão de dados em tempo real (Pub/Sub) e batch.
• Conhecimento de ferramentas de orquestração/transformação como Airflow, Dataform ou dbt.

Responsibilities

• Projetar, implementar e otimizar pipelines de dados (ingestão, transformação e orquestração).
• Otimizar custos de armazenamento e processamento mantendo qualidade e escalabilidade.
• Integrar dados de origens heterogêneas (Oracle, SQL Server, MySQL, S3) e colaborar com cientistas/analistas.
• Contribuir para governança de dados e catalogação quando pertinente.

Skills

GCP

SQL Avançado

Python para ETL

Streaming/Batch

Pub/Sub

Airflow/Composer

Git/CI-CD

Tools

Cloud Composer

Dataform

dbt

Dataproc

Bigtable

Firestore

Job description

Sobre o Desafio:

Você será responsável por projetar, implementar e otimizar pipelines de dados de alta performance no ecossistema Google Cloud Platform (GCP) para um dos maiores centros de referência em saúde. Buscamos um profissional com perfil analítico e proativo, focado em construir soluções escaláveis, seguras e com excelente gestão de custos.

Principais Responsabilidades:

• Projetar e implementar pipelines de ingestão, transformação e orquestração de dados na Google Cloud (batch e streaming).
• Otimizar custos de armazenamento e processamento garantindo qualidade, confiabilidade e escalabilidade do Data Lake/Data Warehouse.
• Desenvolver automações e orquestrações complexas para integração de dados de origens heterogêneas (Oracle, SQL Server, MySQL, S3).
• Colaborar diretamente com cientistas e analistas de dados, fornecendo estruturas preparadas para consumo.

Requisitos Obrigatórios:

• Experiência sólida na Google Cloud Platform (GCP), especialmente com BigQuery, Dataflow (Apache Beam) e Cloud Storage.
• Domínio em SQL avançado e desenvolvimento em Python para automações e ETL.
• Prática na integração e ingestão de dados em tempo real (Pub/Sub) e batch (Storage Transfer, templates JDBC).
• Experiência com ferramentas de orquestração e transformação de dados, como Cloud Composer (Airflow), Dataform ou dbt.
• Domínio de versionamento de código com Git e práticas de CI/CD.

Diferenciais que saltam aos olhos:

• Conhecimento prévio em sistemas do segmento de saúde (PEP/EMR/EHR, RIS, LIS ou sistemas de agendamento/regulação).
• Vivência com Dataproc (Spark/Hadoop) e bancos NoSQL (Bigtable / Firestore).
• Prática em governança e catalogação de dados utilizando Dataplex ou Data Catalog.