devops-инженер для Data Lake

SkillStaff; United States; Hybrid; USD 120,000 - 180,000; Full time

Benefits offered by this job

Удаленная работа

Офис в Москве

Job summary

SkillStaff ищет специалиста по эксплуатации Data Lake и инфраструктуры для сопровождения Linux-систем, S3-хранилищ и кластеров Kubernetes. Роль предполагает взаимодействие с командами Data Engineering и инфраструктуры в рамках разнопроектной деятельности.

Кандидат должен владеть практическим опытом с компонентами Data Lake (Spark, Airflow, Flink, Kafka, Iceberg) и решениями хранения (MinIO). Офис в центре Москвы или удаленная работа доступны.

Qualifications

• Экспертный опыт администрирования Linux.

Responsibilities

• Сопровождать и эксплуатировать Data Lake платформ.
• Поддерживать S3/Object Storage инфраструктуры.
• Мониторить, диагностировать и устранять инциденты.
• Сопровождать Kubernetes и компоненты Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.
• Проведение RCA и анализ причин инцидентов, готовить меры по предотвращению их повторения.
• Автоматизировать эксплуатационные задачи.
• Взаимодействовать с командами Data Engineering и инфраструктуры.
• Сопровождать Big Data Platform.

Skills

Linux administration

Distributed systems

S3/Object Storage

Kubernetes

Data Lake components

MinIO

Prometheus

Grafana

Ansible

Terraform

Python Bash

Tools

Apache Spark

Airflow

Flink

Kafka

Iceberg

Terraform

Ansible

Job description

Описание:

Описания нет

Задачи:

• Сопровождать и эксплуатировать Data Lake платформ.
• Поддерживать S3/Object Storage инфраструктуры.
• Мониторить, диагностировать и устранять инциденты.
• Сопровождать Kubernetes и компоненты Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.
• Проведение RCA и анализ причин инцидентов, готовить меры по предотвращению их повторения.
• Автоматизировать эксплуатационные задачи.
• Взаимодействовать с командами Data Engineering и инфраструктуры.
• Сопровождать Big Data Platform.

Требования:

• Экспертный опыт администрирования Linux.
• Опыт сопровождения высоконагруженных distributed systems.
• Глубокое понимание S3/Object Storage и distributed storage architecture.
• Опыт сопровождения Kubernetes-платформ.
• Практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.
• Опыт эксплуатации MinIO/Object Storage решений.
• Понимание replication, erasure coding, consistency, fault tolerance.
• Практический опыт troubleshooting: CPU, RAM, network, disk I/O, latency, throughput.
• Опыт работы с observability stack: Prometheus, Grafana, alerting, log analysis.
• Опыт автоматизации: Ansible, Terraform, Bash, Python.
• Понимание incident/problem management и SRE-практик.
• Навыки RCA, postmortem analysis и повышения reliability платформ.

Условия:

РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.

КОМФОРТ. SkillStaff - аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.

РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.

КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!