DataOps engineer

2ГИС; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

ДМС

Удаленная работа

Job summary

2ГИС ищет опытного DevOps/SRE/DataOps инженера для поддержки и развития дата‑платформы Holocron. Ваша задача — обеспечивать надёжную доставку данных, управлять инфраструктурой: HDFS, Spark, ClickHouse, Airflow, Ceph и Kubernetes, и участвовать в миграциях на Lakehouse‑стек.

Требуется 2+ года в проде с Ceph/Kubernetes, опыт мониторинга (Prometheus/Grafana) и знание дата‑стека. Гибридный формат, удалённая работа доступна, белая заработная плата, компенсации и бонусы.

Qualifications

• Опыт работы DevOps/SRE/DataOps от уровня Middle и выше.
• Опыт эксплуатации Ceph в проде от 2 лет.
• Уверенный опыт эксплуатации Kubernetes в проде — сеть, storage, операторы.
• Опыт эксплуатации части дата‑стека: Kafka, Spark, ClickHouse, Airflow.
• Мониторинг и алертинг: Prometheus, Grafana.
• Linux на уровне администрирования.
• Базовое понимание сетей для общения с сетевиками.
• Будет плюсом: Apache Flink; опыт работы в дата‑платформе.

Responsibilities

• Поддерживать и развивать инфраструктуру дата‑платформы: HDFS, Spark, ClickHouse, Airflow и др.
• Запускать и эксплуатировать Ceph‑кластер с высокими SLA требованиями.
• Миграция на Lakehouse‑стек: S3/Ceph, Iceberg, Trino/StarRocks, Alluxio.
• Сопровождать Kubernetes‑инфраструктуру команды и помогать разработчикам.
• Развивать мониторинг, алертинг и инцидент‑разбор на критичных компонентах.
• Взаимодействовать с NOC по сетевым вопросам.

Skills

DevOps

SRE

DataOps

Kubernetes

Ceph

Spark

Kafka

ClickHouse

Airflow

Prometheus

Grafana

Linux

Networking basics

Tools

Helm

Trino

StarRocks

Iceberg

Airflow

Ceph

Kubernetes

Spark

ClickHouse

Kafka

Job description

Описание

Описание: Holocron — команда, которая отвечает за инфраструктуру данных в 2ГИС. Мы строим и поддерживаем системы, через которые проходят события от боевых сервисов до аналитических витрин, обеспечиваем надёжную доставку данных, их хранение, обработку и доступ для всех, кто с ними работает. Сейчас мы развиваем корпоративную дата‑платформу нового поколения. Это не просто перенос пайплайнов — это переосмысление архитектуры, техстека и подходов. Мы отказываемся от легаси, сохраняем лучшее (например, Apache Spark) и закладываем фундамент, на котором будут работать десятки инженерных команд.

Задачи

Задачи: Поддерживать и развивать инфраструктуру дата‑платформы: HDFS, Spark, ClickHouse, Airflow и др. Запускать и эксплуатировать Ceph‑кластер с высокими требованиями к SLA. Участвовать в миграции на Lakehouse‑стек: S3/Ceph, Iceberg, Trino/StarRocks, Alluxio. Сопровождать Kubernetes‑инфраструктуру команды, помогать разработчикам с нетривиальными случаями (Helm‑чарты, деплой и базовый мониторинг команда пишет сама). Развивать мониторинг, алертинг и процессы разбора инцидентов на критичных компонентах платформы. Взаимодействовать с NOC по сетевым вопросам.

Требования

Требования: Опыт работы DevOps/SRE/DataOps от уровня Middle и выше. Опыт эксплуатации Ceph в проде от 2х лет. Уверенный опыт эксплуатации Kubernetes в проде — понимание сети, storage, операторов, а не только kubectl apply. Опыт эксплуатации хотя бы части дата‑стека: Kafka, Spark, ClickHouse, Airflow. Мониторинг и алертинг: Prometheus, Grafana. Linux на уровне уверенного администрирования. Базовое понимание сетей — достаточное, чтобы вести предметный диалог с сетевиками. Будет плюсом: Опыт с Apache Flink; Опыт работы в командах дата‑платформы

Условия

Условия: Ты участвуешь в создании дата‑платформы с нуля— от архитектуры до продакшена. Влияешь на технологический курс всей компании. Работаешь с современным стеком: Ceph, Spark 3+, Kafka, S3, ClickHouse, Iceberg, Trino/StarRocks, Flink. Получаешь опыт эксплуатации Ceph и Lakehouse‑стека в проде с высокой нагрузкой и строгими SLA. Решаешь реальные технические вызовы: масштабируемость, отказоустойчивость, миграции без даунтайма. Команда самостоятельная и инженерно зрелая— ты занимаешься специализированными вещами, а не рутиной за разработчиков. Не боимся убирать легаси— осознанно избавляемся от устаревших решений. Оцениваем эффективность не по количеству кода, а по бизнес‑ценности. Ценим нестандартные, но обоснованные инженерные решения. Стремимся к понятной архитектуре и human‑friendly документации. Умеем договариваться— и с бизнесом, и между собой. 2ГИС — аккредитованная IT‑компания. Работать можно в офисе или удалённо, как удобнее. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. Удалённо— из любого города России. Полностью «белая» зарплата, размер обсуждается индивидуально— потолка нет. Есть ДМС, штатный терапевт, невролог, мед.консультант и другие IT‑бонусы. Если хочешь делиться опытом— поддержим участие в конференциях и публикациях на Хабре. А ещё мы проводим внутренние хакатоны, делимся опытом на митапах и в подкастах, пишем про технологии на Хабре, а про новое в продуктах— на VC и Доставили, рассказываем о внутрянке в телеграм Dev2GIS, выступаем на CodeFest, HighLoad и многое другое.