Analista de Infraestrutura & DevOps conhecimento Big Data

First Decision; Brasília; Presencial; BRL 60.000 - 100.000; Tempo integral

Resumo da oferta

Uma empresa inovadora busca um profissional para gerenciar ambientes de Big Data, focando em performance e segurança. O papel envolve a administração de clusters de dados, automação de processos e a criação de pipelines CI/CD. O candidato ideal terá forte experiência em Linux, Spark, Hive e Presto, além de habilidades em ferramentas de orquestração e monitoramento. Se você é apaixonado por tecnologia e deseja trabalhar em um ambiente dinâmico, esta é a oportunidade perfeita para você.

Qualificações

• Experiência em infraestrutura e operação de ambientes de Big Data.
• Forte domínio de Linux e clusters distribuídos.

Responsabilidades

• Gerenciamento de clusters Spark, Hive, Presto e integração com MinIO.
• Criação de CI/CD pipelines para jobs de dados.

Conhecimentos

Linux (administração avançada)

Delta Lake (on-premise)

Spark

Presto

Hive

MinIO

Docker

Kubernetes

Ansible

Terraform

GitLab CI / Jenkins

Prometheus

Grafana

ELK

Shell Script

segurança de dados

autenticação

RBAC

Ferramentas

Docker

Kubernetes

Ansible

Terraform

GitLab CI

Jenkins

Prometheus

Grafana

ELK

Descrição da oferta de emprego

Resumo do Perfil:

Buscamos um profissional em infraestrutura e operação de ambientes de Big Data, com forte domínio de Linux, clusters distribuídos e automação. Experiência em implantação e gestão de ambientes on-premise com Spark, Hive e Presto.

A atuação será garantir performance, segurança, orquestração e estabilidade do pipeline completo de dados, atuando de forma Cross dentro de clientes.

Responsabilidades:

• Gerenciamento de clusters Spark, Hive, Presto e integração com MinIO
• Administração de Delta Lake on-premise, incluindo versionamento e schema evolution
• Configuração de armazenamento compatível com S3 (MinIO)
• Instalação, automação e monitoramento de ambientes Linux
• Integração com JupyterHub para consumo por analistas e cientistas
• Orquestração com Cron (ou Airflow) para automação de pipelines
• Garantia de segurança, acesso e performance de ambientes de dados
• Criação de CI/CD pipelines para jobs de dados

Skills Técnicas:

• Linux (administração avançada)
• Delta Lake (on-premise)
• Spark, Presto, Hive (instalação, tuning, operação)
• Armazenamento distribuído: MinIO, HDFS
• Docker, Kubernetes, Ansible, Terraform
• GitLab CI / Jenkins
• Monitoramento com Prometheus, Grafana, ELK
• Shell Script, segurança de dados, autenticação, RBAC

Diferenciais:

• Integração e suporte a ambientes JupyterHub
• Experiência em troubleshooting de ambientes distribuídos
• Domínio técnico para escalar e sustentar ambientes analíticos complexos
• Ter conhecimento em ambientes Cloud ;