SRE-инженер платформы данных

New.HR; United States; Remote; USD 140,000 - 210,000; Full time

Benefits offered by this job

Полная удалёнка

Официальное трудоустройство по ТК РФ

ДМС с первого дня

Страховка для поездок за рубеж

31 день отпуска + 5 days off + 10 боль

Обучение и ментальное здоровье

Job summary

New.HR ищет SRE в команду, отвечающую за данные: Hadoop, S3-хранилища, Kafka, ZooKeeper, Hive Metastore и Trino/Presto. Ваша задача обеспечить доступность, обновления и восстановление сервисов, работая с IaC, CI/CD и мониторингом.

Требуется 4+ года опыта в эксплуатации data-инфраструктуры, знание Linux, автоматизация и безопасность в продакшене. Удалёнка с гибким графиком, оффисных присутствий нет, корпоративное обучение и здоровье сотрудников — часть условий.

Qualifications

• 4+ года опыта в эксплуатации data-инфраструктуры с дежурствами и самостоятельной работой с инцидентами
• Опыт самостоятельного сопровождения в продакшене хотя бы одной системы хранения или обработки данных: обновления, диагностика, восстановление
• Понимание слабых мест репликации и бэкапов; практический опыт восстановления данных с проверкой целостности и работы потребителей
• Знание Linux на уровне диагностики: файловые системы, дисковый I/O, сеть, DNS, TLS
• Навыки автоматизации и IaC: Bash, Python, Git, CI/CD, Terraform
• Понимание принципов мониторинга: метрики, логи, алерты (Prometheus/Grafana или аналоги)
• Опыт внедрения безопасных изменений в продакшене: продуманный порядок шагов, точки остановки и откат
• Подход к доступам на бэкапы и ключи с учётом минимальных прав и возможной компрометации
• Автономность: доводите задачи и проекты до результата, умение работать в тесной коллаборации с инжинирингом и ИБ
• Умение работать с ИИ-агентами, при котором вы сами проверяете полученный код, права и последствия изменений
• Будет плюсом: опыт с Kafka, Hadoop, Trino/Presto, ClickHouse, PostgreSQL или MySQL; опыт с stateful-сервисами в Kubernetes; опыт с S3-хранилищами, ZooKeeper, Hive Metastore; опыт миграции систем данных между облаками

Responsibilities

• Отвечать за стабильную работу платформы данных: искать причины сбоев, просадок производительности и проблем с репликацией
• Строить отказоустойчивость: настраивать failover, следить, чтобы бэкапы были полными, автоматизировать восстановление и проверять, что после него данные целы, а сервисы-потребители работают
• Переводить обслуживание и раскатку компонентов в код: IaC, CI/CD, ревью изменений
• Вести SLO, мониторинг, документацию и capacity planning
• Совместно с ИБ и смежными командами обновлять компоненты, сужать доступы, сегментировать сеть и менять секреты
• Дежурить и разбирать инциденты; участвовать в DR-учениях с отказом площадки и порчей данных
• Забирать компоненты в зону ответственности и переносить их в другое облако, вводить в курс дела напарника и ревьюить работу коллег

Skills

Linux

Bash

Python

Git

CI/CD

Terraform

Observability

Incident management

Tools

Kafka

Hadoop

Hive Metastore

Trino/Presto

S3

ZooKeeper

Kubernetes

Elasticsearch

PostgreSQL

MySQL

Job description

Описание:

Крупная продуктовая IT-компания, лидер своего сегмента онлайн-сервисов. Десятки миллионов пользователей в месяц , 1 000+ сотрудников. Сильная инженерная культура, мало бюрократии, много автономии. Ищем SRE в команду, которая эксплуатирует системы хранения и обработки данных и отвечает за их доступность, обновления и восстановление. Первый фокус лежит на части платформы данных: Hadoop и S3-хранилищах, Kafka, ZooKeeper, Hive Metastore, Trino/Presto . Зону ответственности обсудим на старте: учтём ваш опыт и интересы.

Задачи:

Отвечать за стабильную работу платформы данных: искать причины сбоев, просадок производительности и проблем с репликацией. Строить отказоустойчивость: настраивать failover, следить, чтобы бэкапы были полными, автоматизировать восстановление и проверять, что после него данные целы, а сервисы-потребители работают. Переводить обслуживание и раскатку компонентов в код: IaC, CI/CD, ревью изменений. Вести SLO, мониторинг, документацию и capacity planning. Вместе с ИБ и смежными командами обновлять компоненты, сужать доступы, сегментировать сеть и менять секреты. Дежурить и разбирать инциденты; участвовать в DR-учениях с отказом площадки и порчей данных, замерять реальные RTO и RPO. Забирать компоненты в свою зону ответственности от текущих владельцев, переносить их в другое российское облако, вводить в курс дела напарника и ревьюить работу коллег.

Требования:

4+ года опыта в эксплуатации data-инфраструктуры с дежурствами и самостоятельной работой с инцидентами. Опыт самостоятельного сопровождения в продакшене хотя бы одной системы хранения или обработки данных: обновления, диагностика, восстановление. Понимание слабых мест репликации и бэкапов; практический опыт восстановления данных с проверкой целостности и работы потребителей. Знание Linux на уровне диагностики: файловые системы, дисковый I/O, сеть, DNS, TLS. Навыки автоматизации и IaC: Bash, Python, Git, CI/CD, Terraform, управление конфигурацией. Понимание принципов мониторинга: метрики, логи, алерты (Prometheus/Grafana или аналоги). Опыт внедрения безопасных изменений в продакшене: продуманный порядок шагов, точки остановки и откат, проверка частичных отказов, идемпотентная автоматизация. Подход к доступам на бэкапы и ключи с учётом минимальных прав и возможной компрометации. Автономность: сами доводите задачи и проекты до результата, заранее подсвечиваете риски и умеете работать в тесной коллаборации с инжинирингом и ИБ. Умение работать с ИИ-агентами, при котором вы сами проверяете полученный код, права и последствия изменений. Будет плюсом: Глубокая экспертиза в одной или нескольких системах хранения и обработки данных: Kafka, Hadoop, Trino/Presto, ClickHouse, PostgreSQL или MySQL; Опыт со stateful-сервисами в Kubernetes: тома, секреты, конфигурации, диагностика; Опыт с S3-хранилищами, ZooKeeper, Hive Metastore, Elasticsearch; Опыт миграции систем данных между облаками.

Условия:

Полная удалёнка с гибким графиком: офисы в трёх городах России открыты для всех по желанию. Официальное трудоустройство по ТК РФ. Прозрачные процессы: performance review дважды в год, понятный инженерный трек, ментор на старте, индивидуальный план развития. DМС с первого дня: стоматология, госпитализация, страховка для поездок за рубеж. 31 день отпуска + 5 days off + 10 дней больничного. Бюджет на обучение, фитнес и ментальное здоровье. Реальное влияние на процессы и архитектуру: много собственных решений, учения по Disaster Recovery, высокий оунершип. Масштаб: 10+ Kubernetes-кластеров, сотни кластеров БД, несколько PB данных, GPU-мощности.