dataops-инженер высоконагруженных систем

Medialogia; EE. UU.; Híbrido; USD 140.000 - 200.000; Jornada completa

Descripción de la vacante

Медиалогия ищет опытного инженера по инфраструктуре данных в США. Ваша задача — обеспечивать устойчивую работу больших систем сбора и анализа медиа и соцсетей, проектировать базы данных и очереди, настраивать мониторинг и резервирование.

Нужны навыки PostgreSQL/MySQL, Kafka и ClickHouse, а также опыт администрирования Linux и Kubernetes. Возможен удаленный или гибридный режим работы, конкурентная оплата и развитие в команде.

Formación

• Глубокие знания механизмов PostgreSQL и MySQL, включая блокировки, индексы и репликацию.
• Опыт эксплуатации Apache Kafka в продакшн-среде и настройка партиций/лагов.
• Опыт работы с ClickHouse: шардинг, репликация и движки таблиц.
• Уверенное администрирование Linux под высокие нагрузки.
• Опыт настройки HA-конфигураций БД (Patroni, PXC и т.д.).

Responsabilidades

• Обеспечивает полный цикл жизни БД: установка, настройка, масштабирование PostgreSQL/MySQL.
• Проектирует и поддерживает кластеры Kafka, RabbitMQ под высокие нагрузки.
• Управляет инфраструктурой BigData и потоковыми сервисами (Hadoop, NiFi, AirFlow).
• Оптимизирует кеши и поиск (Redis, Elasticsearch).
• Обеспечивает резервное копирование и DR-планы.

Conocimientos

PostgreSQL internals

MySQL internals

Kafka production

ClickHouse sharding

Linux admin

High availability

Kubernetes Operators

Python scripting

Bash scripting

Ansible roles

Herramientas

PostgreSQL

MySQL

ClickHouse

Apache Kafka

RabbitMQ

Linux

Kubernetes

Elasticsearch

NiFi

AirFlow

Hadoop

Patroni

PXC

Ansible

Python

Bash

Descripción del empleo

Описание:

Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа. Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.

Задачи:

• обеспечивать полный цикл жизни реляционных (PostgreSQL, MySQL) и колоночных (Clickhouse) баз данных: от установки до тюнинга и масштабирования проектировать и поддерживать отказоустойчивые кластеры брокеров сообщений (Kafka, RabbitMQ) под высокие нагрузки управлять инфраструктурой BigData и системами потоковой обработки (Hadoop, NiFi, AirFlow), оптимизировать их производительность настраивать и поддерживать системы кэширования и поиска (Redis, Elasticsearch) управлять S3-совместимым объектным хранилищем (MinIO), обеспечивать георезервирование и консистентность данных настраивать надежные системы резервного копирования (бэкапы, PITR) и регулярно проверять планы аварийного восстановления (DR) выступать «куратором» 1-2 проектов: погружаться в бизнес-логику, помогать разработчикам с профилированием сложных запросов и проектированием схем данных

Требования:

• глубокое понимание внутреннего устройства реляционных БД (особенно PostgreSQL или MySQL): механизмы блокировок, индексы, репликация (streaming, logical)
• реальный опыт эксплуатации Apache Kafka в Production (настройка партиций, retention, решение проблем с лагом консьюмеров)
• опыт работы с Clickhouse (шардирование, репликация, движки таблиц)
• уверенное администрирование Linux (настройка ядра, дисковой подсистемы, сети под высокие нагрузки баз данных)
• опыт настройки высокодоступных (HA) конфигураций для БД (Patroni, PXC и т.д.)
• Будет плюсом: опыт эксплуатации стека Hadoop (HDFS, YARN) и инструментов ETL (Apache NiFi); навыки работы с Elasticsearch (управление индексами, ILM, масштабирование кластера); опыт деплоя стейтфул-приложений (баз данных, очередей) внутри Kubernetes с использованием Operators; навыки написания Ansible-ролей для автоматизации раскатки БД; умение писать скрипты на Python или Bash для автоматизации рутинных задач DBA

Условия:

• удаленный или гибридный формат работы
• заработная плата обсуждается по итогам собеседования с успешным кандидатом
• ДМС после испытательного срока
• специальные условия для сотрудников на страхование для членов семьи скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое)
• бесплатное онлайн-обучение на корпоративном портале
• корпоративная офис в пешей доступности от ст. м. Дмитровская (БЦ «Савеловский Сити»)