devops инженер Apache Flink

БФТ-Холдинг; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

БФТ-Холдинг ищет инженера по поддержке и развитию платформы потоковой обработки данных на базе Apache Flink, работающей на федеральной цифровой платформе для автоматизации и реинжиниринга социальной сферы.

В должности требуется настройка Flink, Kafka, Hadoop и Elasticsearch, Kubernetes, Docker и Linux; обеспечение высокой доступности и устранение проблем производительности.

Qualifications

• Опыт эксплуатации Apache Flink в production.
• Понимание архитектуры Flink и принципов потоковой обработки данных.
• Опыт работы с Kafka, Hadoop и OpenSearch или Elasticsearch.
• Опыт работы с Kubernetes, Docker и Linux.
• Опыт эксплуатации и оптимизации высоконагруженных распределённых систем.
• Опыт работы с Prometheus, Zabbix или Grafana.

Responsibilities

• Поддерживать, оптимизировать и развивать платформу потоковой обработки данных на базе Apache Flink.
• Настраивать и администрировать Flink, Kafka, Hadoop и Elasticsearch.
• Мониторить работу платформы и контролировать выполнение потоковых задач.
• Балансировать нагрузку и оптимизировать использование вычислительных ресурсов.
• Обеспечивать высокую доступность и бесперебойную работу системы.
• Анализировать и устранять проблемы производительности и инциденты.

Skills

Apache Flink

Kafka

Hadoop

OpenSearch/Elasticsearch

Kubernetes

Docker

Linux

Distributed systems

Monitoring (Prometheus Grafana Zabbix)

Tools

Docker

Kubernetes

OpenSearch/Elasticsearch

Prometheus/Zabbix/Grafana

Linux

Job description

Описание: Проект — федеральная цифровая платформа для автоматизации и реинжиниринга социальной сферы, предназначенная для комплексного назначения и предоставления мер социальной поддержки. Платформа рассчитана более чем на 100 тысяч внутренних и 50 миллионов внешних пользователей, использует микросервисную архитектуру и обрабатывает данные в реальном времени.

Задачи

• Поддерживать, оптимизировать и развивать платформу потоковой обработки данных на базе Apache Flink
• Настраивать и администрировать Flink, Kafka, Hadoop и Elasticsearch
• Мониторить работу платформы и контролировать выполнение потоковых задач
• Балансировать нагрузку и оптимизировать использование вычислительных ресурсов
• Обеспечивать высокую доступность и бесперебойную работу системы
• Анализировать и устранять проблемы производительности и инциденты

Требования

• Опыт эксплуатации Apache Flink в production
• Понимание архитектуры Flink и принципов потоковой обработки данных
• Опыт работы с Kafka, Hadoop и OpenSearch или Elasticsearch
• Опыт работы с Kubernetes, Docker и Linux
• Опыт эксплуатации и оптимизации высоконагруженных распределённых систем
• Опыт работы с Prometheus, Zabbix или Grafana

Условия

• Официальное трудоустройство по ТК РФ
• Корпоративная техника
• ДМС после испытательного срока с возможностью страхования детей и родственников
• Корпоративные мероприятия и праздники
• Реферальная программа с вознаграждением за рекомендации