Engenharia de Dados

IT Lean; São Paulo; Presencial; BRL 150 000 - 210 000; Tempo integral

Resumo da oferta

IT Lean este1 contratando um(a) Engenheiro(a) de Dados com foco em Python, PySpark e Google Cloud Platform para construir pipelines robustos e governar dados em grande volume.

O profissional atuare1 com arquitetura, qualidade, observabilidade e performance em cloud, incluindo Airflow, Dataflow, BigQuery e Delta Lake, levando solu 121345

Qualificações

• Experiência comprovada em Engenharia de Dados.
• Conhecimento avançado em Python e PySpark.
• Experiência com GCP, BigQuery e serviços de data lake/streaming.
• Foco em qualidade de dados, governança e observabilidade.
• Capacidade de desenhar pipelines robustos, escaláveis e custo-eficientes.

Responsabilidades

• Desenhar e manter pipelines de dados em batch e streaming.
• Implementar governança de dados, qualidade e observabilidade.
• Gerenciar integrações via APIs, SFTP, arquivos e buckets GCS.
• Otimizar performance e custos na nuvem.
• Conduzir CI/CD para projetos de engenharia de dados.

Conhecimentos

Python

PySpark

Data Governance

Data Quality

Observability

CI/CD

Performance & Cost Optimization

Streaming

Batch Processing

Ferramentas

GCP

BigQuery

GCS

Dataproc

Dataflow

Pub/Sub

Airflow/Cloud Composer

Delta Lake

Parquet

Avro

JSON

Descrição da oferta de emprego

Estamos buscando um(a) profissional com experiência sólida em Engenharia de Dados para atuar com um stack bem completo envolvendo Python, PySpark e Google Cloud Platform. Se você gosta de construir pipelines robustos, trabalhar com grandes volumes de dados e atuar com arquitetura, qualidade, governança e performance em cloud, essa oportunidade pode ser a sua cara.

No dia a dia, você vai trabalhar com temas:

• Python e PySpark
• GCP, GCS e BigQuery
• Dataproc, Dataflow e Pub/Sub
• Apache Airflow / Cloud Composer
• Medallion Architecture — Bronze, Silver e Gold
• Pipelines batch e streaming
• APIs, SFTP, arquivos e buckets GCS
• Parquet, Avro, JSON e Delta Lake
• CDC, cargas incrementais e idempotência
• Data Quality e observabilidade
• Data Governance
• CI/CD para Engenharia de Dados
• Performance, escalabilidade e otimização de custos em cloud

Diferenciais: experiência com frameworks de Data Quality, streaming/near real-time, DataOps e FinOps.