Data Engineer – Azure & Databricks

DBServices; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Remoto internacional

Trabalho colaborativo com equipaGlobal

Apoio à saúde física e mental

Job summary

A DBServices procura um Data Engineer para atuar num projeto global de dados na área de Procurement, apoiando a evolução de um Data Lake corporativo e garantindo integrações confiáveis entre operações de diferentes países.

O profissional trabalhará 100% remotamente com foco em pipelines ETL/ELT, notebooks em PySpark e Python, e arquitetura medallion (Bronze/Silver/Gold). Inglês fluente é essencial.

Qualifications

• SQL avançado com joins, CTEs, subqueries, funções de janela e otimização.
• Python e PySpark para processamento distribuído, notebooks e automações.
• Azure Data Factory, Azure Synapse Analytics e Databricks.
• Azure DevOps e Git para versionamento, code review e CI/CD.
• Integração com APIs REST e cargas incrementais.
• Modelagem relacional e Data Lake/Lakehouse com governança de dados.
• Inglês fluente para interação técnica e documentação.

Responsibilities

• Desenhar e manter pipelines ETL/ELT e workloads em ambiente Azure/Databricks.
• Desenvolver notebooks e scripts em SQL, Python e PySpark e documentar soluções
• Gerenciar versionamento de código e colaborar em CI/CD entre ambientes
• Monitorar execuções, falhas e custos, com logs e alerts
• Documentar integrações, mapeamentos origem-destino e dicionário de dados
• Assegurar qualidade, reconciliação de fontes e governança de dados.

Skills

SQL

Python

PySpark

ETL/ELT

Data Engineering

Data Lake

Inglês fluente

Tools

Azure Data Factory

Azure Synapse Analytics

Databricks

Azure DevOps

Git

API integration

Job description

A DBServices é uma empresa que possui raízes profundas tanto em Portugal quanto no Brasil, refletindo uma ligação sólida entre os dois países.
Em constante crescimento, a DBServices destaca-se por atender grandes empresas em Portugal, nos Estados Unidos e no Brasil, consolidando sua presença internacional e ampliando seu impacto no mercado global.

Estamos buscando um(a) Data Engineer para atuar em um projeto global de dados na área de Procurement, apoiando a evolução de um Data Lake corporativo. O objetivo é ampliar a cobertura das fontes e dos dados disponíveis, reduzir tratamentos manuais e garantir integrações confiáveis, com dados harmonizados entre operações de diferentes países e continentes. Você será responsável pelas entregas back-end até produção, com autonomia técnica e seguindo padrões e regras de negócio definidos em conjunto com as áreas envolvidas.

Modelo de trabalho: 100% remoto
Idioma: inglês fluente

Atividades

• Levantar requisitos de dados junto à área de negócio e aos times responsáveis pelas fontes, traduzindo regras funcionais em especificações técnicas
• Desenvolver e manter integrações via APIs, conectores e mecanismos de extração, respeitando permissões, limitações das fontes e padrões corporativos
• Investigar lacunas em extrações e queries existentes, incorporando novas colunas e entidades da origem até as camadas de consumo
• Construir e evoluir pipelines ETL/ELT e workflows automatizados, com dependências, agendamentos, cargas incrementais e reprocessamento seguro
• Desenvolver notebooks e scripts em SQL, Python e PySpark em ambiente Azure e Databricks
• Implementar arquitetura medallion (Bronze, Silver e Gold), criando e otimizando tabelas e views Gold com regras de negócio documentadas
• Manter um modelo canônico global, harmonizando nomenclaturas, tipos, datas, fusos horários, moedas, unidades de medida e cadastros, preservando o vínculo com os dados de origem
• Implementar controles de qualidade, reconciliação com as fontes, tratamento de duplicidades, integridade referencial e gestão de alterações de schema
• Versionar código no Azure DevOps e apoiar code review, testes e esteiras CI/CD entre ambientes
• Monitorar execuções, falhas e desempenho dos pipelines, com logs, alertas e rotinas de recuperação, otimizando processamento e custos
• Documentar integrações, mapeamentos origem-destino, dicionário de dados, linhagem e procedimentos operacionais

Requisitos

• SQL avançado: joins, CTEs, subqueries, funções de janela, agregações e otimização de consultas
• Python e PySpark para processamento distribuído, automações e notebooks, com código modular, testável e documentado
• Azure Data Factory, Azure Synapse Analytics e Databricks
• Azure DevOps e Git para versionamento, code review e automação de testes e deploys
• Integração com APIs REST: autenticação, paginação, tratamento de erros, limites de requisição e cargas incrementais
• Modelagem relacional e analítica (granularidade, chaves e relacionamentos), ETL/ELT e arquitetura Data Lake/Lakehouse em camadas
• Harmonização de dados entre sistemas e regiões, mapeamento origem-destino, modelo canônico e dicionário de dados
• Qualidade e governança de dados, rastreabilidade e boas práticas de acesso seguro e gestão de credenciais
• Inglês fluente para interação técnica e documentação

Diferenciais

• Integração com ERPs e plataformas corporativas, como SAP ECC/S/4HANA, Microsoft Dynamics 365, ServiceNow ou Coupa
• Conhecimento de dados de procurement: fornecedores, requisições, pedidos de compra, contratos, sourcing, condições de pagamento e savings
• Delta Lake, CDC, evolução de schema e otimização de processamento em Spark
• Azure Data Lake Storage, Azure Key Vault e soluções de catálogo e linhagem de dados
• Experiência em projetos globais
• Espanhol
• Práticas de DataOps e metodologias ágeis

Na DBSPT você encontrará:

• Ambiente Colaborativo: Valorizamos o senso de comunidade, onde as ideias são compartilhadas e as conquistas celebradas em equipe.
• Trabalhe de qualquer lugar: Aproveite a liberdade e a flexibilidade para trabalhar onde se sentir mais produtivo e confortável.
• Conexão Global: Você terá a oportunidade de interagir com pessoas de diferentes países e culturas, expandindo sua rede de contatos e visão de mundo.
• Apoio à Saúde Física: Por meio do Totalpass e Mediquo, oferecemos recursos e programas focados no seu bem-estar físico.
• Cuidado com a Saúde Mental: O Team Care disponibiliza iniciativas e ações para apoiar seu equilíbrio emocional e mental no dia a dia.

Why DBServices?

At DBServices, we design, develop, and support cutting-edge digital platforms that drive innovation for leading companies across IT, Banking, Retail, Government, Healthcare, and other industries in Europe and the Americas. Our expertise empowers businesses to grow, adapt, and lead in dynamic markets.

Trusted by industry leaders like Worten, Sonae, Edenred, Natixis, Farfetch, Glintt, Efacec, Segurança Social, and McDonald’s, we deliver solutions that make a real impact.

Join us and be part of a global team that’s shaping the future of digital transformation.