Engenharia de Dados Sênior - Azure, Databricks

GFT Technologies; São Paulo; Hybrid; BRL 200,000 - 260,000; Full time

Benefits offered by this job

Horário de trabalho flexível

Plano de carreira com oportunidades de

Benefícios diversos

Job summary

A GFT Technologies procura um(a) Engenheiro(a) de Dados para liderar a construção e evolução de pipelines de dados em Databricks com Spark/PySpark, cobrindo ingestão, limpeza e transformação de dados brutos.

Você irá estruturar o Data Lake em camadas sobre Azure Data Lake Storage, gerenciar ingestões batch/streaming com ADFA e Event Hubs, e colaborar com times de engenharia, analytics e negócios para entregar soluções escaláveis e seguras.

Qualifications

• Experiência com Databricks e Spark/PySpark para construção e evolução de pipelines de dados.
• Conhecimento de Azure Data Factory (ADF) para integração/orquestração de pipelines.
• Integração entre Databricks e serviços Azure (Unity Catalog, autenticação/autorizações).
• Conhecimento de Unity Catalog, permissões e governança de dados.
• Conhecimento de autenticação/autorização Azure (Entra ID, Managed Identities, Service Principals).
• Experiência com Git e CI/CD (preferencialmente Azure DevOps).
• Conhecimento de Data Quality, monitoramento e observabilidade de pipelines.
• Capacidade de troubleshooting e otimização de Spark/Databricks (desempenho/custo).
• Boas práticas de segurança, governança e controle de acesso a dados.
• Otimização de custos em Azure e Databricks (clusters, computação, armazenamento).

Responsibilities

• Desenhar, construir e manter pipelines de dados eficientes e escaláveis em Databricks com Spark/PySpark.
• Projetar Data Lake em camadas Bronze, Silver e Gold no ADLS, com governança e reuso.
• Orquestrar ingesta batch e streaming com Azure Data Factory e Event Hubs; assegurar confiabilidade.
• Definir padrões de modelagem e uso de SQL/NoSQL e data warehouses para cenários analíticos.
• Aplicar governança de dados e DevOps do time, estabelecendo padrões.
• Monitorar desempenho de sistemas de dados em produção com observabilidade; otimizar gargalos.
• Mentorar engenheiros juniores e contribuir para arquitetura com iniciativas AI-Centric (NL2SQL com Databricks Genie, Wynxx e Claude Code).
• Colaborar com equipes de negócio para transformar dados em insights acionáveis; participar de reuniões de definição/planejamento.

Skills

Databricks

Spark/PySpark

Azure Data Factory

Unity Catalog

Git

CI/CD

Data Quality

Observability

Troubleshooting

Teamwork

Tools

Azure Databricks

Azure Data Lake Storage

Event Hubs

ADLS Gen2

Job description

Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 10.000 pessoas ao redor do mundo sendo 3.000 pessoas no Brasil.

Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos.

Promovemos uma cultura de desenvolvimento e crescimento pautadas no nosso pilar de Continuous Scaled Learning porque acreditamos o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital.

Utilizando Apache Spark, PySpark e SQL, trabalhar com Delta Lake, garantindo qualidade, integridade e performance dos dados. Criar e otimizar jobs e workflows no Databricks, com foco em escalabilidade, desempenho e eficiência. Implementar controles de qualidade, monitoramento e rastreabilidade dos dados. Atuar na análise e resolução de problemas relacionados aos pipelines e processamento de dados. Aplicar boas práticas de desenvolvimento, versionamento, testes e CI/CD. Otimizar processamento e consumo de recursos Cloud, buscando eficiência técnica e financeira. - Trabalhar de forma integrada com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio. Apoiar a evolução da arquitetura e dos processos de Big Data e Data Engineering. Desenvolver, implementar e manter pipelines de dados (ETL/ELT).

Requisitos:

Liderar tecnicamente a construção e evolução de pipelines de dados eficientes e escaláveis em Databricks com Spark/PySpark, cobrindo coleta, limpeza e transformação de dados brutos.

Desenhar e estruturar o Data Lake em camadas Bronze, Silver e Gold sobre Azure Data Lake Storage (ADLS), garantindo consistência e reuso.

Orquestrar ingestões batch e streaming com Azure Data Factory e Event Hubs, assegurando confiabilidade e escalabilidade.

Definir padrões de modelagem e uso de bancos relacionais (SQL), não relacionais (NoSQL) e data warehouses para atender aos casos analíticos.

Conduzir a aplicação de Governança de Dados e Domínio de Dados, estabelecendo boas práticas, padronizações e fluxos de DevOps do time.

Monitorar e otimizar o desempenho dos sistemas de dados em produção, com observabilidade e resolução de gargalos. Colaborar com profissionais de análise e negócio para transformar dados em insights acionáveis, participando de reuniões de definição e planejamento.

Mentorar engenheiros júnior e contribuir para o design e a arquitetura da solução, apoiando iniciativas AI-Centric (NL2SQL com Databricks Genie, agentes como Wynxx e Claude Code para acelerar a engenharia).

Requisitos obrigatórios

Experiência com Databricks. Conhecimento de Azure Data Factory (ADF) para integração e orquestração de pipelines. Experiência com integração entre Databricks e serviços Azure. Conhecimento de Unity Catalog, incluindo catálogo, schemas, permissões e governança de dados. Conhecimento de mecanismos de autenticação e autorização Azure, incluindo Microsoft Entra ID, Managed Identities e Service Principals.

Experiência com Git e CI/CD, preferencialmente utilizando Azure DevOps.

Conhecimento de práticas de Data Quality, monitoramento, tratamento de erros e observabilidade de pipelines.

Capacidade de realizar troubleshooting e otimização de performance de processos Spark e Databricks.

Conhecimento de boas práticas de segurança, governança e controle de acesso aos dados. Conhecimento de otimização de custos em Azure e Databricks, considerando clusters, capacidade computacional, armazenamento e execução de workloads. - Experiência com Azure Databricks para desenvolvimento e processamento de dados.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

O que oferecemos:

Cartão multi-benefícios – você escolhe como e onde utilizar;

Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas;

Programas de incentivo à Certificações;

Horário de trabalho flexível;

Plano personalizado de carreira e possibilidade de carreira internacional;

Salários competitivos;

Avaliação de desempenho anual com possibilidade de bonificação;

Previdência Privada;

Assistência Médica;

Assistência Odontológica;