Engenharia De Da Dados

Gft Technologies; São Paulo; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está buscando um Engenheiro de Dados SR para projetar e desenvolver pipelines escaláveis em ambientes cloud. A posição requer experiência em Azure e Databricks, além de conhecimento na arquitetura lakehouse e práticas de governança de dados. O profissional terá responsabilidades como atuar como referência técnica e garantir a performance dos pipelines. A vaga é presencial na região de Faria Lima, em São Paulo, e exige inglês avançado.

Qualificações

• Experiência SR em engenharia de dados com foco em pipelines e ambientes cloud.
• Conhecimento avançado em Azure e Databricks.
• Inglês avançado é necessário.

Responsabilidades

• Projetar e desenvolver pipelines escaláveis e robustos de ingestão de dados.
• Construir soluções baseadas em arquitetura lakehouse.
• Garantir performance e escalabilidade de pipelines.
• Automatizar processos focando em reusabilidade e controle de qualidade.
• Atuar como referência técnica para o time de engenharia de dados.

Conhecimentos

Engenharia de dados

Azure

Databricks

Python

Spark (PySpark)

Governança de dados

Git

CI / CD

Ferramentas

Azure Data Lake Gen2

Azure Data Factory

Key Vault

Descrição da oferta de emprego

O que buscamos :

Profissional SR com experiência em engenharia de dados, capaz de projetar e desenvolver pipelines escaláveis e robustos em ambientes cloud. A posição exige conhecimento avançado em Azure e Databricks, além de boas práticas de arquitetura lakehouse e governança de dados. Atuação presencial 3 X vezes na região da Faria Lima.

Responsabilidades e Requisitos

• Projetar e desenvolver pipelines escaláveis e robustos de ingestão e transformação de dados em Azure e Databricks;
• Construir soluções baseadas em arquitetura lakehouse com organização em camadas (bronze, silver, gold);
• Garantir performance e escalabilidade de pipelines através de boas práticas de particionamento, caching e paralelismo;
• Automatizar processos com foco em reusabilidade, monitoramento e controle de qualidade;
• Atuar como referência técnica para o time de engenharia de dados, promovendo boas práticas e padronizações;
• Experiência com bases de dados transacionais e análise de requisitos;
• Conhecimento em governança de dados;
• Domínio de Azure Data Lake Gen2, Azure Data Factory, Key Vault e integração entre serviços Azure;
• Proficiência em Spark (PySpark) e Python para desenvolvimento de pipelines e transformação de dados;
• Experiência com Git e CI / CD aplicados a pipelines de dados;

Inglês avançado