sre инженер платформ Data Lake

Альфа-Банк; United States; À distance; USD 29 000 - 41 000; Plein temps

Résumé du poste

Альфа-Банк ищет опытного администратора платформ Data Lake для эксплуатации и поддержки инфраструктуры S3/Object Storage. Ваша роль — мониторинг, диагностика и устранение инцидентов, поиск причин задержек и оптимизация производительности в распределённых системах.

Будете работать с Kubernetes, Spark, Airflow, Flink, Kafka и Iceberg, проводить RCA и автоматизировать рутинные задачи. Привлекут внимание кандидатам с экспертизой в Prometheus, Grafana, Ansible, Terraform, Bash и Python.

Qualifications

• Экспертный опыт администрирования Linux.
• Опыт сопровождения высоконагруженных распределённых систем.
• Понимание S3/Object Storage и архитектуры распределённых хранилищ.
• Опыт эксплуатации Spark, Airflow, Flink, Kafka и Iceberg.
• Опыт работы с MinIO или аналогами Object Storage; знание репликации и отказоустойчивости.
• Навыки диагностики CPU, RAM, сетей, I/O, задержек и пропускной способности.
• Опыт наблюдения Prometheus и Grafana, алертинг и лог-дэбаг.

Responsabilités

• Сопровождение и эксплуатация Data Lake платформ и S3/Object Storage.
• Мониторинг, диагностика и устранение инцидентов.
• Поиск причин проблем производительности платформы хранения.
• Поддержка Kubernetes и компонентов Big Data: Spark, Airflow, Flink, Kafka, Iceberg.
• Проведение RCA и разбор итогов инцидентов.
• Автоматизация операционных задач.
• Взаимодействие с командами Data Engineering и инфраструктуры.

Connaissances

Linux администрирование

распределенные системы

S3/Object Storage

Apache Spark

Apache Airflow

Kafka

Iceberg

MinIO

Prometheus

Grafana

Ansible

Terraform

Bash

Python

Outils

Kubernetes

Description du poste

Описание

Платформы Data Lake в Альфа-Банке обеспечивают работу с Big Data и Object Storage при высокой нагрузке.

Задачи

• Сопровождать и эксплуатировать платформы Data Lake и инфраструктуру S3/Object Storage
• Мониторить, диагностировать и устранять инциденты
• Искать и устранять причины проблем производительности платформы и систем хранения
• Сопровождать Kubernetes и компоненты платформы Big Data: Spark, Airflow, Flink, Kafka, Iceberg
• Проводить RCA и разбирать итоги инцидентов
• Автоматизировать эксплуатационные задачи
• Взаимодействовать с командами Data Engineering и инфраструктуры

Требования

• Экспертный опыт администрирования Linux
• Опыт сопровождения высоконагруженных распределённых систем
• Глубокое понимание S3/Object Storage и архитектуры распределённых систем хранения
• Практический опыт эксплуатации Apache Spark, Airflow, Flink, Kafka и Apache Iceberg
• Опыт эксплуатации MinIO или других решений Object Storage; понимание репликации, кодирования с устранением избыточности, согласованности и отказоустойчивости
• Практический опыт диагностики CPU, RAM, сетей, дискового ввода-вывода, задержек и пропускной способности
• Опыт работы с системами наблюдаемости Prometheus и Grafana, оповещениями и анализом журналов
• Опыт автоматизации с Ansible, Terraform, Bash и Python
• Понимание управления инцидентами и проблемами, практик SRE, анализа первопричин и разбора итогов инцидентов

Условия

• Ставка 2 146 руб/час
• Долгосрочный проект с перспективой перехода в штат банка
• Требуется строгое соблюдение московского часового пояса