Engenheiro de Dados Sênior

Tarea; Fortaleza; Presencial; BRL 80.000 - 150.000; Tempo integral

Resumo da oferta

Uma empresa inovadora está em busca de um Engenheiro de Dados Sênior para liderar a construção e gestão de soluções robustas de Big Data. Nesta função, você será responsável por implementar arquiteturas na plataforma Cloudera, configurar pipelines de dados e garantir a governança através de ferramentas como Apache Ranger. Você terá a oportunidade de colaborar com equipes de Data Science, integrando soluções de IA e Machine Learning. Se você é apaixonado por dados e busca um ambiente dinâmico e desafiador, esta é a oportunidade perfeita para você.

Qualificações

• Experiência avançada na plataforma Cloudera e ferramentas relacionadas.
• Domínio na criação de Data Lakes e governança de dados.

Responsabilidades

• Implementar arquiteturas de Big Data na plataforma Cloudera.
• Configurar pipelines de dados com Apache Spark e NiFi.
• Colaborar com equipes de Data Science para integração de soluções.

Conhecimentos

Cloudera Data Platform (CDP)

Python

Apache Spark

Apache NiFi

Apache Ranger

Data Lakes

Hive

HUE

Livy

Governança de Dados

Descrição da oferta de emprego

Descrição

Estamos à procura de um(a) Engenheiro de Dados Sênior em Cloudera. Se você deseja ser nosso Especialista construindo e gerenciando soluções robustas de Big Data essa vaga é para você!

Responsabilidades e atribuições

• Implementar e gerenciar arquiteturas de Big Data na plataforma Cloudera.
• Configurar pipelines de dados utilizando Apache Spark, Livy e NiFi.
• Garantir a governança de dados por meio do Apache Ranger e Cloudera Navigator.
• Estruturar e organizar Data Lakes em camadas para otimizar o processamento e consumo de dados.
• Definir, criar e manter um catálogo de dados centralizado, assegurando a documentação completa dos ativos de dados, rastreabilidade, e compliance com políticas de governança;
• Colaborar com equipes de Data Science e Engenharia para integração de soluções de IA e Machine Learning.

Requisitos e qualificações

• Experiência avançada na Cloudera Data Platform (CDP), Cloudera Manager e Cloudera Navigator, em ambientes de nuvem e on-premises.
• Domínio na criação de Data Lakes estruturados em camadas (Bronze, Prata e Ouro).
• Experiência em Python e Apache Spark para processamento de dados em larga escala.
• Conhecimento em Apache Ranger para gestão de permissões e governança.
• Uso do Hive e HUE para consultas e interação com dados.
• Experiência com Apache NiFi para automação e integração de fluxos de dados.
• Conhecimento em Livy para gerenciamento e envio de trabalhos Spark em ambientes distribuídos.
• Experiência em realizar treinamentos e apresentações técnicas.
• Habilidades de levantamento negocial e de dados, facilitando o entendimento das necessidades do cliente e a definição de soluções técnicas.