Data engineer

RDP.RU; United States; A distancia; USD 150.000 - 210.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Remote work option

Competitive compensation

Descripción de la vacante

RDP.RU ищет опытного Data Engineer для разработки и внедрения сложных batch и streaming пайплайнов на Lakehouse-стеке. Ваша задача — участвовать в создании новой data-платформы с нуля, проектировать схемы хранения и оптимизировать Iceberg-таблицы, а также обеспечивать near-real-time обработку данных.

Требуется продвинутый опыт Spark, Flink, Kafka, Trino и Python/Java, а также знание S3-совместимых хранилищ и Parquet. Предлагается возможность удалённой работы и конкурентная компенсация.

Formación

• 5+ лет опыта в Data Engineering и развитые навыки построения batch и streaming пайплайнов.
• Эксперт в Spark и Flink, умение настраивать highload обработки.
• Глубокие знания SQL и оптимизация больших объемов данных.

Responsabilidades

• Проектирование и реализация сложных batch и streaming пайплайнов в Lakehouse-стеке.
• Участие в строении новой data-платформы с нуля.
• Проектирование схем хранения и оптимизация Iceberg-таблиц.
• Оптимизация Spark и Trino под highload и near-real-time требования.
• Разбор и устранение сложных инцидентов производительности.
• Внедрение практик Data Quality и проведение код-ревью.
• Менторинг инженеров данных.

Conocimientos

Spark (batch & streaming)

Flink

Python (PySpark)

Java

SQL optimization

Kafka

Trino

Iceberg/Delta Lake

Distributed storage (S3 or аналог)

Herramientas

Kubernetes

Parquet

Protobuf

GitOps

Descripción del empleo

Описание

Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком‑инфраструктурой. Входим в контур группы компаний ПАО "Ростелеком" и являемся стратегическим активом АО "Градиент". Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи. О проекте: Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных.

Задачи

• Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse‑стеке
• Участие в построении новой data‑платформы с нуля
• Проектирование схем хранения и оптимизация Iceberg‑таблиц
• Оптимизация Spark и Trino под highload и near-real-time требования
• Проектирование решений с учётом роста объёмов данных и нагрузки
• Разбор и устранение сложных инцидентов производительности
• Внедрение и развитие практик Data Quality
• Проведение код-ревью
• Менторинг старших инженеров и инженеров данных
• Принятие технических решений в рамках архитектуры платформы

Требования

• 5+ лет опыта в Data Engineering
• Продвинутый опыт работы со Spark (batch и streaming)
• Практический опыт построения потоковой обработки на Flink
• Отличное знание SQL и опыт оптимизации под большие объёмы данных
• Уверенное понимание брокеров сообщений: гарантии доставки, порядок, дубли, поведение при переполнении. Не привязано к продукту — у нас Kafka, но важен принцип
• Уверенное владение Python, включая PySpark
• Уверенное владение Java: потоковые джобы пишутся на ней
• Опыт работы с Trino
• Опыт работы с distributed storage (S3 или аналоги)
• Понимание принципов Data Lake / Lakehouse
• Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout)
• Опыт работы с Iceberg / Delta Lake или глубокое понимание их принципов
• Понимание принципов построения отказоустойчивых и горизонтально масштабируемых data‑систем
• Опыт проектирования и построения data‑платформ или крупных подсистем с нуля
• Понимание принципов построения Lakehouse‑архитектуры
• Опыт выбора и обоснования технических решений на уровне отдельных компонентов и пайплайнов
• Понимание подходов к масштабированию платформы при росте объёмов данных и нагрузки
• Опыт проектирования решений с учётом отказоустойчивости, производительности и эксплуатационных требований
• Опыт оптимизации Spark-job'ов
• Понимание причин деградации производительности в distributed‑среде
• Опыт работы с highload‑потоками
• Опыт внедрения и поддержки Data Quality механизмов
• Понимание SLA витрин и требований к near-real-time обработке
• Опыт работы с потоками, где задержка от источника до хранилища нормирована
• Опыт инструментирования пайплайнов метриками и построения по ним оповещений
• Будет плюсом: Опыт работы с различными типами СУБД и хранилищ данных: RDBMS, columnoriented, Graph DB, Search / Full-text engines; Опыт работы с Kubernetes; Понимание практик Infrastructure as Code; Опыт работы с GitOps; Опыт работы с protobuf и Parquet; Опыт работы с ClickHouse; Опыт работы с каталогом данных: описания, происхождение данных, проверки качества; Опыт работы с BI-системами, в частности Apache Superset; Понимание различных моделей данных (Star / Snowflake, Data Vault, Anchor Modeling); Понимание предметной области: сетевой трафик, потоки и сессии, SNI / IP

Условия

• Работа в аккредитованной IT компании
• Трудоустройство в соответствии с ТК РФ
• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью)
• График работы: 5/2
• Возможность работать удаленно