Engenharia de Dados | Híbrido/SP - 135604

GFT TECHNOLOGIES SE; Barueri; On-site; BRL 180,000 - 260,000; Full time

Benefits offered by this job

Cartão multi-benefícios

Bolsas de Estudos para Graduação/Pós/M

Certificações

Horário de trabalho flexível

Salários competitivos

Plano de carreira

Possibilidade de carreira interna

Wellhub eTotalPass

Previdência Privada

Assistência Médica

Assistência Odontológica

Job summary

A GFT TECHNOLOGIES SE procura um(Data Engineer L3) para atuar em projetos de Big Data e Data Engineering no setor financeiro, com atuação híbrida em Alphaville, Barueri, SP. Será responsável por pipelines ETL/ELT usando Spark, PySpark, SQL e Databricks.

O candidato ideal tem experiência com Databricks/Azure Databricks, Delta Lake, Unity Catalog e integração comAzure Data Factory. Foco em governança, desempenho e custo, com colaboração com várias equipes de negócio.

Qualifications

• Experiência com Databricks e Azure Databricks para desenvolvimento de pipelines de dados.
• Conhecimento de Delta Lake e Azure Data Factory para orquestração.
• Conhecimento de Unity Catalog, Azure AD, Managed Identities e Service Principals.
• Experiência em Git e CI/CD, preferencialmente com Azure DevOps.
• Forte foco em qualidade, governança e observabilidade de pipelines.
• Capacidade de troubleshooting e otimização de performance em Spark/Databricks.

Responsibilities

• Desenvolver, implementar e manter pipelines de dados (ETL/ELT) com Spark e PySpark.
• Trabalhar com Delta Lake para garantir qualidade e performance dos dados.
• Criar e otimizar jobs e workflows no Databricks com foco em escalabilidade.
• Aplicar monitoramento, rastreabilidade e controles de qualidade de dados.
• Colaborar com Engenharia de Dados, Arquitetura, Analytics e áreas de negócio.

Tools

Databricks

Azure Databricks

Delta Lake

Azure Data Factory

Unity Catalog

Microsoft Entra ID

Managed Identities

Service Principals

Azure DevOps

CI/CD

Git

Spark

PySpark

SQL

Job description

Engenharia de Dados | Híbrido/SP - 135604

Localização: Alphaville - Barueri, BR, 06.454-000

Estamos em busca de um profissional Data Engineer L3 para atuar em projetos de Big Data e Data Engineering, no setor financeiro, utilizando Apache Spark, PySpark, SQL e Databricks, contribuindo para o desenvolvimento, evolução e otimização de pipelines e processos de dados.

Responsabilidades:

O profissional atuará em conjunto com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio, com foco em escalabilidade, performance, qualidade, governança e eficiência dos processos de dados.

• Desenvolver, implementar e manter pipelines de dados (ETL/ELT) utilizando Apache Spark, PySpark e SQL;
• Trabalhar com Delta Lake, garantindo qualidade, integridade e performance dos dados;
• Criar e otimizar jobs e workflows no Databricks, com foco em escalabilidade, desempenho e eficiência;
• Implementar controles de qualidade, monitoramento e rastreabilidade dos dados;
• Atuar na análise e resolução de problemas relacionados aos pipelines e processamento de dados;
• Aplicar boas práticas de desenvolvimento, versionamento, testes e CI/CD;
• Otimizar processamento e consumo de recursos Cloud, buscando eficiência técnica e financeira;
• Trabalhar de forma integrada com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio;
• Apoiar a evolução da arquitetura e dos processos de Big Data e Data Engineering.

Requisitos:

• Experiência com Databricks;
• Experiência com Azure Databricks para desenvolvimento e processamento de dados;
• Conhecimento de Azure Data Factory (ADF) para integração e orquestração de pipelines;
• Experiência com integração entre Databricks e serviços Azure;
• Conhecimento de Unity Catalog, incluindo catálogo, schemas, permissões e governança de dados;
• Conhecimento de mecanismos de autenticação e autorização Azure, incluindo Microsoft Entra ID, Managed Identities e Service Principals;
• Experiência com Git e CI/CD, preferencialmente utilizando Azure DevOps;
• Conhecimento de práticas de Data Quality, monitoramento, tratamento de erros e observabilidade de pipelines;
• Capacidade de realizar troubleshooting e otimização de performance de processos Spark e Databricks;
• Conhecimento de boas práticas de segurança, governança e controle de acesso aos dados;
• Conhecimento de otimização de custos em Azure e Databricks, considerando clusters, capacidade computacional, armazenamento e execução de workloads.
• Conhecimento no mercado financeiro;

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 12.000 pessoas ao redor do mundo sendo 4.000 pessoas no Brasil.

Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos.

Promovemos uma cultura de desenvolvimento e crescimento pautada no nosso pilar de Continuous Scaled Learning porque acreditamos que o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital.

O que oferecemos

• Cartão multi-benefícios – você escolhe como e onde utilizar.
• Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas.
• Programas de incentivo à Certificações.
• Horário de trabalho flexível.
• Salários competitivos.
• Avaliação de desempenho anual com plano de carreira estruturado.
• Possibilidade de carreira internacional.
• Wellhub eTotalPass.
• Previdência Privada.
• Assistência Médica.
• Assistência Odontológica.