DevOps / Data Lake Engineer

NDA; United States; Remote; USD 140,000 - 190,000; Full time

Job summary

NDA ищет специалиста по облачным инфраструктурам для поддержки Data Lake, AWS EKS и Kubernetes в рамках корпоративного проекта.

Кандидат будет администрировать кластеры, управлять доступом к S3, следить за безопасностью и автоматизировать процессы с Terraform, Helm, Python и Bash. Ожидается участие в устранении инцидентов; проект длится 12 месяцев.

Qualifications

• Практический опыт работы с AWS, EKS, Kubernetes и Data Lake на S3.
• Знание Hive, Impala, Iceberg и Ranger, а также сервисов управления метаданными и каталогами.
• Навыки инфраструктуры как кода и автоматизации: Terraform, Helm, Python, Bash.
• Навыки устранения неполадок, мониторинга и администрирования облачных платформ.
• Понимание AWS IAM и управления доступом.

Responsibilities

• Администрировать и поддерживать Amazon EKS и кластеры Kubernetes
• Управлять группами узлов EKS, инстансами EC2, группами автоматического масштабирования, подами, сервисами и рабочими нагрузками
• Настраивать и управлять доступом к S3, политиками бакетов, шифрованием и подключением к Data Lake
• Поддерживать Apache Hive, Impala, Iceberg и Ranger и устранять неполадки
• Работать с метаданными Data Lake, изменением схем данных, снимками и обслуживанием таблиц
• Контролировать доступность, производительность, ёмкость и безопасность платформы
• Анализировать и устранять инциденты в AWS, Kubernetes и экосистеме Apache
• Автоматизировать инфраструктуру и операционные процессы с помощью Terraform, Helm, Python и Bash

Skills

AWS EKS

Kubernetes

Data Lake

Security

Incident response

Monitoring

Tools

Terraform

Helm

Python

Bash

Job description

Описание

Корпоративный проект связан с облачной инфраструктурой, эксплуатацией Data Lake и обеспечением стабильной работы платформы.

Задачи

• Администрировать и поддерживать Amazon EKS и кластеры Kubernetes


• Управлять группами узлов EKS, инстансами EC2, группами автоматического масштабирования, подами, сервисами и рабочими нагрузками


• Настраивать и управлять доступом к S3, политиками бакетов, шифрованием и подключением к Data Lake


• Поддерживать Apache Hive, Impala, Iceberg и Ranger и устранять неполадки


• Работать с метаданными Data Lake, изменением схем данных, снимками и обслуживанием таблиц


• Контролировать доступность, производительность, ёмкость и безопасность платформы


• Анализировать и устранять инциденты в AWS, Kubernetes и экосистеме Apache


• Автоматизировать инфраструктуру и операционные процессы с помощью Terraform, Helm, Python и Bash

Требования

• Практический опыт работы с облачной инфраструктурой AWS, особенно с Amazon EKS, Kubernetes и Data Lake на базе S3


• Знание Apache Hive, Impala, Iceberg, Ranger, а также сервисов управления метаданными и каталогами


• Опыт работы с инфраструктурой как кодом и инструментами автоматизации: Terraform, Helm, Python, Bash


• Навыки устранения неполадок, мониторинга и администрирования облачных платформ


• Понимание принципов облачной безопасности, AWS IAM и управления доступом


• Будет плюсом: опыт работы с Cloudera Data Platform (CDP) on Cloud, Cloudera Data Warehouse, Cloudera Data Engineering, Cloudera AI или Dremio Lakehouse

Условия

Проект длительностью 12 месяцев Начало работы — как можно скорее