Engenheiro(a) de Dados Databricks

Itquest; São Paulo; Teletrabalho; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa inovadora busca um Engenheiro de Dados para atuar remotamente, focando no desenvolvimento de pipelines escaláveis e integração de dados. O candidato ideal deve ter experiência com Azure Databricks e habilidades analíticas sólidas. O trabalho envolve colaboração com equipes multifuncionais e a criação de documentação técnica. A posição é remota, com início em Junho de 2025 e duração de 12 meses.

Qualificações

• Experiência com serviços Azure como Data Lake, SQL Database e Blob Storage.
• Capacidade de projetar e implementar modelos de dados complexos.
• Excelentes habilidades de comunicação para colaborar com equipes multifuncionais.

Responsabilidades

• Projetar, desenvolver e manter pipelines escaláveis usando Azure Databricks.
• Integrar dados de várias fontes, garantindo qualidade e consistência.
• Criar e manter documentação de processos e fluxos de trabalho.

Conhecimentos

Desenvolvimento de pipelines de dados

Integração de dados

Otimização de desempenho

Colaboração

Documentação

Segurança e conformidade

Monitoramento e manutenção

Solução de Problemas

Comunicação

Ferramentas

Azure Databricks

Spark

SQL

Descrição da oferta de emprego

Conhecimentos Técnicos Requeridos

1. Desenvolvimento de pipeline de dados: projete, desenvolva e mantenha pipelines de dados escalonáveis usando o Azure Databricks para processar e analisar grandes conjuntos de dados.
2. Integração de dados: integre dados de várias fontes, garantindo qualidade e consistência ao longo do pipeline.
3. Otimização de desempenho: otimize o processamento de dados e resolva problemas no ambiente do Databricks.
4. Colaboração: trabalhe com cientistas de dados, analistas e demais stakeholders para entender requisitos de dados e fornecer soluções.
5. Documentação: crie e mantenha documentação de processos, arquitetura e fluxos de trabalho.
6. Segurança e conformidade: assegure a segurança dos dados e o cumprimento de regulamentos relevantes.
7. Monitoramento e manutenção: implemente soluções de monitoramento para garantir a confiabilidade do pipeline e realize manutenção periódica.

Certificação Conhecimento

Conhecimentos Técnicos Desejáveis

• Proficiência no uso do Azure Databricks e Spark para processamento de dados.
• Conhecimento da estrutura MDMF será uma vantagem adicional.
• Experiência com SQL e gerenciamento de bancos de dados.

Experiência em Nuvem

• Experiência com serviços de nuvem do Azure, incluindo Azure Data Lake, Azure SQL Database e Azure Blob Storage.

Modelagem de Dados

• Capacidade de projetar e implementar modelos de dados complexos.

Solução de Problemas

• Fortes habilidades analíticas e de resolução de problemas.

Comunicação

• Excelentes habilidades de comunicação para colaborar com equipes multifuncionais.
• Capacidade de apoiar e interagir com equipes em diferentes locais e fusos horários.
• Habilidade de interagir para resolver problemas e reunir requisitos.
• Capacidade de rastrear incidentes, solicitações de serviço e alterações para garantir o cumprimento de SLAs.

Horário de Trabalho

Modelo de trabalho: REMOTO

Início: Junho de 2025

Período de Alocação: 12 meses

Idioma: Inglês Avançado