Engenheiro De Dados Sênior

buscojobs Brasil; Rio de Janeiro; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de recrutamento está buscando um Engenheiro de Dados para desenvolver e manter pipelines de dados escalonáveis usando Azure Databricks. O profissional será responsável por integrar dados, otimizar o desempenho, e colaborar com equipes multifuncionais. É necessário ter proficiência em Databricks, habilidades analíticas, e comunicação em inglês. A contratação é no modelo PJ.

Qualificações

• Proficiência no uso do Azure Databricks e do Spark.
• Experiência com SQL e gerenciamento de banco de dados.
• Capacidade de projetar e implementar modelos de dados complexos.

Responsabilidades

• Desenvolver e manter pipelines de dados escalonáveis.
• Integrar dados de várias fontes com qualidade consistente.
• Otimizar o desempenho do processamento de dados.

Conhecimentos

Azure Databricks

Spark

SQL

Serviços de nuvem Azure

Habilidades analíticas

Excelentes habilidades de comunicação em inglês

Descrição da oferta de emprego

Overview

Engenheiro de Dados Databricks Resoure for SAP

Responsabilidades

• Desenvolvimento de pipeline de dados: projete, desenvolva e mantenha pipelines de dados escalonáveis usando o Azure Databricks para processar e analisar grandes conjuntos de dados.
• Integração de dados: integre dados de várias fontes e garanta a qualidade e a consistência dos dados em todo o pipeline.
• Otimização de desempenho: otimize o desempenho do processamento de dados e solucione problemas no ambiente do Databricks.
• Colaboração: trabalhe em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender os requisitos de dados e fornecer soluções.
• Documentação: crie e mantenha a documentação para processos de dados, arquitetura e fluxos de trabalho.
• Segurança e conformidade: garanta a segurança dos dados e a conformidade com os regulamentos e padrões relevantes.
• Monitoramento e manutenção: implemente soluções de monitoramento para garantir a confiabilidade do pipeline de dados e realize manutenção regular.
• Excelentes habilidades de comunicação em inglês para colaborar com equipes multifuncionais.

Conhecimentos Técnicos Desejáveis

• Proficiência no uso do Azure Databricks e do Spark para processamento de dados
• A compreensão da estrutura MDMF será uma vantagem adicional
• Experiência com SQL e gerenciamento de banco de dados
• Experiência com serviços de nuvem do Azure, incluindo Azure Data Lake, Banco de Dados SQL do Azure e Armazenamento de Blobs do Azure
• Capacidade de projetar e implementar modelos de dados complexos
• Fortes habilidades analíticas e de resolução de problemas
• Apoie e interaja com diversas equipes em vários locais e fusos horários
• Interaja com uma equipe multifuncional para resolver problemas e reunir requisitos
• Deve ser capaz de rastrear incidentes, solicitações de serviço, solicitações de mudança para garantir que os SLAs sejam atendidos
• Contratação PJ