Engenheiro(a) de Dados | Dados

BTG Pactual; São Paulo; Presencial; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está à procura de um(a) Engenheiro(a) de Dados para integrar sua equipe. Este papel é fundamental para projetar e implementar arquiteturas de Data Lake escaláveis e robustas, utilizando tecnologias de ponta em ambientes de nuvem como GCP e AWS. O profissional será responsável por desenvolver pipelines de dados eficientes, garantindo a qualidade e governança dos dados. Se você é apaixonado por dados e busca um ambiente colaborativo e dinâmico, esta é a oportunidade ideal para você brilhar e impactar projetos significativos.

Qualificações

• Experiência em ambientes de nuvem (GCP e AWS) e construção de Data Lakes.
• Domínio em Python, SQL e ferramentas de orquestração como Airflow e dbt.

Responsabilidades

• Projetar e implementar a arquitetura de um Data Lake em múltiplas camadas.
• Desenvolver e monitorar pipelines de dados usando Apache Spark e PySpark.

Conhecimentos

Python

SQL

DataOps

CI/CD

Apache Spark

PySpark

Governança de Dados

Cloud Computing

Ferramentas

GCP

AWS

Apache Airflow

dbt

Git

Terraform

Descrição da oferta de emprego

Join to apply for the Engenheiro(a) de Dados | Dados role at BTG Pactual

Sobre a Vaga

Estamos em busca de um(a) Engenheiro(a) de Dados com sólida experiência em ambientes de nuvem (GCP e AWS), proficiência em plataformas similares ao Databricks e forte capacidade técnica para estruturar e operar Data Lakes. O profissional será responsável por desenhar, implementar e manter pipelines de dados robustas e escaláveis, garantindo a ingestão, processamento e disponibilização de dados em diferentes camadas (Raw, Refined, Curated).

Responsabilidades

1. Projetar e implementar a arquitetura de um Data Lake em múltiplas camadas (Raw/Staging, Trusted/Refined e Curated/Business Layer).
2. Desenvolver, orquestrar e monitorar pipelines de dados usando ferramentas como Apache Spark, PySpark, Airflow, dbt ou equivalentes.
3. Trabalhar com GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub) e AWS (S3, Glue, Athena, Redshift, EMR) para construção de soluções escaláveis e seguras.
4. Criar processos eficientes de ingestão de dados em batch e streaming, integrando múltiplas fontes.
5. Colaborar com cientistas de dados, analistas e engenheiros de software para disponibilizar dados com qualidade e governança.
6. Garantir o versionamento, segurança e catalogação dos dados.
7. Atuar na otimização de performance, controle de custos e boas práticas em ambientes cloud.

Requisitos Obrigatórios

1. Experiência comprovada com Google Cloud Platform (GCP) e Amazon Web Services (AWS).
2. Vivência em ambientes semelhantes ao Databricks.
3. Experiência na construção de Data Lakes com no mínimo 3 camadas.
4. Domínio em Python, SQL e frameworks como Spark / PySpark.
5. Conhecimento em DataOps e CI/CD para pipelines de dados.
6. Experiência com ferramentas de orquestração de pipelines (Airflow, dbt, Step Functions, etc.).
7. Familiaridade com ferramentas de versionamento de código (Git, GitHub/GitLab).
8. Boas práticas de governança, qualidade e segurança de dados.

Desejável

1. Certificações em GCP e/ou AWS.
2. Conhecimento em Data Mesh e arquiteturas orientadas a domínio.
3. Experiência com lakehouse architectures.
4. Experiência em infraestrutura como código (IaC), como Terraform.

Soft Skills

1. Visão sistêmica e foco em performance e escalabilidade.
2. Boa comunicação com áreas técnicas e de negócio.
3. Proatividade e espírito colaborativo.
4. Capacidade de atuar em ambientes ágeis e com múltiplas prioridades.