Especialista big data

First Decision; Manaus; Presencial; BRL 70.000 - 90.000; Tempo integral

Resumo da oferta

Uma empresa de cibersegurança em Recife está buscando um profissional de Big Data para projetar e manter soluções de Big Data e Data Lake. O candidato ideal deve ter experiência em engenharia de dados e conhecimento em ferramentas como Apache Hadoop e Delta Lake. Este papel é fundamental para garantir a eficiência e escalabilidade das operações de dados da empresa.

Qualificações

• Experiência em engenharia de dados.
• Administração de frameworks de Big Data em ambiente ON-PREMISES.
• Experiência com Delta Lake, Python, Pyspark, SQL.

Responsabilidades

• Projetar, construir e manter soluções de Big Data e Data Lake.
• Garantir eficiência, confiabilidade e escalabilidade.
• Atuar em todo o pipeline de processamento e análise de dados.

Conhecimentos

Engenharia de dados

Autenticação

Comunicação

Negociação

Formação académica

Diploma de ensino superior completo em Probabilidade e Estatística

Ciência da Computação

Engenharias

Ferramentas

Apache Hadoop

Delta Lake

Python

Pyspark

SQL

Linux

Docker

Gitlab

Kubernetes

Qlik Sense

Descrição da oferta de emprego

Expiração

Descrição

datadome 1 ano: DataDome é uma solução de cibersegurança para detectar atividade de bot.

jja* 1 dia: jjap é um serviço que pode ser subscrito para receber informações sobre novos empregos.

Características Avançadas

Características avançadas para fornecer as informações solicitadas e reduzir a frequência de inserções repetidas em campos.

Expiração

Descrição

attb-loc 3 meses: Armazena informações de localização para pré-preencher campos de pesquisa de empregos próximos.

Análise permite à empresa monitorar o uso do site, fundamentando melhorias contínuas na experiência do usuário.

Estamos em busca de um profissional de Big Data para projetar, construir e manter soluções de Big Data e Data Lake, garantindo eficiência, confiabilidade e escalabilidade, além de atuar em todo o pipeline de processamento, análise de dados, governança e monitoramento de ferramentas especializadas.

Conhecimentos Técnicos Obrigatórios:

• Experiência em engenharia de dados;
• Administração e troubleshooting de frameworks de Big Data em ambiente ON-PREMISES, incluindo:
• Cluster Apache Hadoop (HDFS);
• Camada de armazenamento Delta Lake sobre HDFS;
• Apache Hive e Presto ou Trino para consultas SQL-like;
• Conhecimento em autenticação/segurança;
• Experiência com Delta Lake, Python, Pyspark, SQL, Linux (Red Hat, Ubuntu), Docker e Gitlab.

Conhecimentos Técnicos Desejáveis:

• Processamento de informações geoespaciais com GeoPandas e Pyspark;
• Administração de Kubernetes, desenvolvimento de dashboards com Qlik Sense, e habilidades de comunicação, negociação e aplicação do SCRUM.

Formação:

• Diploma de ensino superior completo em Probabilidade e Estatística, Ciência da Computação, Engenharias ou áreas com ênfase em análise de dados.