Engenheiro de Dados SR (Integração SAP)

Grupo SysMap; Brasil; On-site; BRL 180,000 - 320,000; Full time

Job summary

Grupo SysMap é uma empresa brasileira de tecnologia que atua desde 1999, fortalecendo a transformação digital de clientes com soluções inovadoras. O(a) profissional atuará na arquitetura, desenvolvimento e implementação de soluções de engenharia de dados, com domínio de Databricks, SAP e pipelines de dados em ambientes Lakehouse.

A posição envolve trabalhar com Spark, Delta Lake e governança de dados, assegurando qualidade, segurança e disponibilidade das informações para uso analítico e

Qualifications

• Experiência sólida em Engenharia de Dados com foco em pipelines de dados
• Domínio de Databricks e integração de dados SAP com foco em Lakehouse
• Conhecimento avançado em Apache Spark, PySpark e Spark SQL
• Conhecimento em Delta Lake e governança de dados
• Experiência com plataformas de nuvem (AWS/Azure/Google Cloud)
• Conhecimento de APIs, OData e integração SAP com Databricks

Responsibilities

• Projetar, desenvolver e manter pipelines de dados com Databricks para grandes volumes
• Implementar arquiteturas Lakehouse Bronze/Silver/Gold e gerenciar dados desde ingestão até consumo analítico
• Desenvolver ETL/ELT integrando SAP S/4HANA, SAP ECC e demais soluções SAP
• Trabalhar com Delta Lake, Unity Catalog e governança de dados
• Otimizar consultas SQL, jobs e workflows em Databricks
• Participar de regras de qualidade, segurança e monitoramento de dados com ênfase em disponibilidade

Job description

Job description

Você é apaixonado(a) por tecnologia e inovação?

No Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e triggo.ai – acreditamos que grandes resultados nascem de pessoas incríveis.

Somos uma empresa brasileira de tecnologia que, desde 1999, ajuda organizações a superar desafios complexos e acelerar sua transformação digital.

Nossa atuação abrange diversos segmentos, como Telecom, Varejo, Educação, Financeiro, Indústria/Cosméticos e Energia, sempre com foco em soluções inovadoras e de alto impacto.

Candidate-se agora e construa o futuro da tecnologia conosco!

Main responsibilities

Missão do Cargo

Atuar na arquitetura, no desenvolvimento e na implementação de soluções avançadas de Engenharia de Dados, com forte domínio em Databricks e integração de dados provenientes do ecossistema SAP. Será responsável por construir e otimizar pipelines de dados, implementar arquiteturas Lakehouse, desenvolver processos de ETL/ELT e garantir a qualidade, a escalabilidade, a governança e a disponibilidade das informações para ambientes analíticos e estratégicos.

Principais Responsabilidades

• Projetar, desenvolver e manter pipelines de dados utilizando Databricks, garantindo eficiência, escalabilidade e performance no processamento de grandes volumes de informações;
• Desenvolver processos de ingestão, transformação e processamento de dados utilizando Apache Spark, PySpark e SQL;
• Implementar arquiteturas Lakehouse e Medallion (Bronze, Silver e Gold), estruturando fluxos de dados desde a ingestão até a disponibilização para consumo analítico;
• Trabalhar com Delta Lake, Delta Tables e recursos avançados do Databricks para armazenamento, versionamento, otimização e gerenciamento de dados;
• Desenvolver e otimizar processos de ETL/ELT, integrando diferentes fontes de dados, especialmente sistemas SAP;
• Atuar na extração, integração e transformação de dados provenientes do SAP S/4HANA, SAP ECC e demais soluções do ecossistema SAP;
• Implementar integrações entre SAP e Databricks utilizando APIs, OData, conectores e mecanismos de ingestão de dados;
• Desenvolver soluções de processamento em batch e streaming, conforme as necessidades dos projetos;
• Implementar boas práticas de governança, qualidade, segurança, linhagem e monitoramento de dados, incluindo recursos do Unity Catalog;
• Realizar otimizações de performance em consultas SQL, jobs e workflows no ambiente Databricks;
• Atuar na automação e orquestração de pipelines, garantindo a confiabilidade e a disponibilidade dos processos;
• Trabalhar em conjunto com equipes de Arquitetura, BI, Analytics e áreas de negócio na construção de soluções orientadas a dados.

Requirements and skills

Requisitos Técnicos

• Experiência sólida em Engenharia de Dados, com atuação em projetos de arquitetura e processamento de grandes volumes de dados;
• Experiência avançada e prática com Databricks, incluindo desenvolvimento, implementação e otimização de pipelines de dados;
• Domínio de Apache Spark, PySpark e Spark SQL;
• Conhecimento avançado em Delta Lake, Delta Tables e arquitetura Lakehouse;
• Experiência com arquitetura Medallion (Bronze, Silver e Gold);
• Conhecimento em Databricks Workflows, Jobs e recursos de orquestração;
• Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados;
• Domínio de SQL e Python aplicados à Engenharia de Dados;
• Experiência em processos de ETL/ELT e integração de múltiplas fontes de dados;
• Conhecimento do ecossistema SAP, especialmente SAP S/4HANA e/ou SAP ECC;
• Experiência com extração e integração de dados SAP por meio de APIs, OData, RFC, IDoc ou outros mecanismos;
• Conhecimento em SAP Datasphere, SAP BW/4HANA ou SAP Data Services;
• Vivência com ambientes em nuvem, preferencialmente AWS, Azure ou Google Cloud.

Vamos gostar muito se, além disso tudo, você tiver:

• Certificação Databricks Data Engineer Associate ou Professional;
• Experiência com Delta Live Tables/Lakeflow Declarative Pipelines;
• Conhecimento em CI/CD, Git e automação de deploy de pipelines;
• Experiência com processamento de dados em tempo real (streaming);
• Conhecimento em SAP BTP e SAP Integration Suite;
• Experiência com arquiteturas de dados modernas e ambientes corporativos de grande porte.