Engenheiro De Dados Sênior

buscojobs Brasil; Uberlândia; Presencial; BRL 20.000 - 80.000; Tempo parcial

Resumo da oferta

Uma plataforma de recrutamento está buscando um Engenheiro de Dados com experiência em Azure Databricks. O candidato ideal deve desenvolver e manter pipelines de dados, integrar dados de várias fontes e otimizar o desempenho do ambiente. Excelentes habilidades de comunicação em inglês são necessárias para colaborar com equipes multifuncionais.

Qualificações

• Experiência com desenvolvimento de pipelines de dados escalonáveis usando Azure Databricks.
• Integração de dados de várias fontes com garantia de qualidade.
• Capacidade de otimizar o desempenho do processamento de dados.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados.
• Trabalhar com equipes multifuncionais para entender requisitos de dados.
• Garantir a segurança e a conformidade com regulamentos.

Conhecimentos

Desenvolvimento de pipeline de dados

Integração de dados

Otimização de desempenho

Colaboração

Documentação

Segurança e conformidade

Monitoramento e manutenção

Comunicação em inglês

Ferramentas

Azure Databricks

Spark

SQL

Azure Data Lake

Banco de Dados SQL do Azure

Armazenamento de Blobs do Azure

Descrição da oferta de emprego

Overview

Engenheiro de Dados Databricks Resource for SAP

Conhecimentos Técnicos Requeridos

• Desenvolvimento de pipeline de dados: projete, desenvolva e mantenha pipelines de dados escalonáveis usando o Azure Databricks para processar e analisar grandes conjuntos de dados.
• Integração de dados: integre dados de várias fontes e garanta a qualidade e a consistência dos dados em todo o pipeline.
• Otimização de desempenho: otimize o desempenho do processamento de dados e solucione problemas no ambiente do Databricks.
• Colaboração: Trabalhe em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender os requisitos de dados e fornecer soluções.
• Documentação: crie e mantenha a documentação para processos de dados, arquitetura e fluxos de trabalho.
• Segurança e conformidade: Garanta a segurança dos dados e a conformidade com os regulamentos e padrões relevantes.
• Monitoramento e manutenção: Implemente soluções de monitoramento para garantir a confiabilidade do pipeline de dados e realizar manutenção regular.
• Excelentes habilidades de comunicação em inglês para colaborar com equipes multifuncionais.

Conhecimentos Técnicos Desejáveis

• Proficiência no uso do Azure Databricks e do Spark para processamento de dados
• A compreensão da estrutura MDMF será uma vantagem adicional
• Experiência com SQL e gerenciamento de banco de dados.
• Experiência com serviços de nuvem do Azure, incluindo Azure Data Lake, Banco de Dados SQL do Azure e Armazenamento de Blobs do Azure.
• Capacidade de projetar e implementar modelos de dados complexos.
• Fortes habilidades analíticas e de resolução de problemas.
• Apoie e interaja com diversas equipes em vários locais e fusos horários.
• Interaja com uma equipe multifuncional para resolver problemas e reunir requisitos.
• Deve ser capaz de rastrear incidentes, solicitações de serviço, solicitações de alteração para garantir que os SLAs sejam atendidos.

Contratação PJ.