Automacao jobs in United Kingdom

Buscamos um profissional em infraestrutura e operação de ambientes de Big Data, com forte domínio de Linux, clusters distribuídos e automação. Experiência em implantação e gestão de ambientes on-premise com Spark, Hive e Presto.

A atuação será garantir performance, segurança, orquestração e estabilidade do pipeline completo de dados, atuando de forma Cross dentro de clientes.

• Gerenciamento de clusters Spark, Hive, Presto e integração com MinIO
• Administração de Delta Lake on-premise, incluindo versionamento e schema evolution
• Configuração de armazenamento compatível com S3 (MinIO)
• Instalação, automação e monitoramento de ambientes Linux
• Integração com JupyterHub para consumo por analistas e cientistas
• Orquestração com Cron (ou Airflow) para automação de pipelines
• Garantia de segurança, acesso e performance de ambientes de dados
• Criação de CI/CD pipelines para jobs de dados

• Linux (administração avançada)
• Delta Lake (on-premise)
• Spark, Presto, Hive (instalação, tuning, operação)
• Armazenamento distribuído: MinIO, HDFS
• Docker, Kubernetes, Ansible, Terraform
• GitLab CI / Jenkins
• Monitoramento com Prometheus, Grafana, ELK
• Shell Script, segurança de dados, autenticação, RBAC

• Integração e suporte a ambientes JupyterHub
• Experiência em troubleshooting de ambientes distribuídos
• Domínio técnico para escalar e sustentar ambientes analíticos complexos
• Ter conhecimento em ambientes Cloud ;