Data engineer in Trust & Safety

Wildberries; United States; Remote; USD 120,000 - 170,000; Full time

Benefits offered by this job

ДМС со стоматологией

Корпоративный спорт

Консультации психолога

Корпоративный университет и развитие

Питание в офисе

Job summary

Wildberries ищет инженера по данным для разработки потоковых и пакетных пайплайнов. Ваша задача — обрабатывать события из Databus/Kafka, считать онлайн‑признаки и сохранять результаты в Redis/Cassandra.

Также нужно проектировать пакетные потоки через Trino/S3‑Iceberg и обеспечивать согласованность признаков между обучением и продакшеном. Требуется глубокое знание SQL, опыт работы с ClickHouse и умение писать надёжные пайплайны в Python с использованием Airflow.

Qualifications

• 5+ лет опыта в роли Data Engineer / Backend+Data.
• Уверенный опыт работы с Kafka‑подобными очередями (Databus/Kafka).
• Практический опыт со streaming‑движком (Flink; Spark Structured Streaming).
• Опыт Redis/Cassandra как онлайн‑хранилищ данных/признаков.
• Опыт работы с S3‑подобными хранилищами и Iceberg/Delta/Hudi через SQL‑движок (Trino/Presto/Spark SQL).
• Отличное знание SQL и опыт работы с ClickHouse.
• Python на уровне уверенной разработки data‑скриптов.
• Опыт настройки и сопровождения пайплайнов в Airflow.
• Понимание ML‑пайплайнов: train/serve, перерасчёты признаков.

Responsibilities

• Проектировать и развивать потоковые процессы чтения событий из Databus/Kafka и расчёт онлайн‑признаков.
• Проектировать пакетные процессы чтения данных из S3/Iceberg через Trino, расчёт офлайн‑признаков.
• Обеспечивать согласованность признаков между обучением и продакшеном.
• Настраивать расписания, пересчёты и бэки для своевременного обновления признаков.
• Работать с качеством данных: проверки, мониторинг аномалий, разбор инцидентов.
• Совместно с DS и аналитиками придумывать новые признаки и переводить скрипты в пайплайны.

Skills

Kafka/Databus

Streaming engines (Flink)

Redis/Cassandra

S3/Iceberg/Delta/Hudi

SQL & ClickHouse

Python

Airflow

ML pipelines

Trino/Presto

Spark SQL

Tools

Trino/Presto

Spark SQL

Job description

Описание

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Мы - команда платформы данных в направлении Trust & Safety. Наша миссия - обеспечить T&S доступом к достоверным, актуальным и структурированным данным, предоставив надежную технологическую платформу и инструменты для их эффективного использования.

Задачи

Проектировать и разрабатывать потоковые процессы, которые читают события из Databus/Kafka и считают онлайн‑признаки, записывая их в Redis и Cassandra. Проектировать и разрабатывать пакетные процессы, которые читают данные из S3/Iceberg через Trino, считают офлайн‑признаки и пишут результаты обратно в S3/Iceberg и/или ClickHouse. Следить за тем, чтобы один и тот же признак был согласован между обучением и продакшеном (одна логика расчёта, единый контракт). Настраивать расписания, пересчёты и бэки, чтобы признаки обновлялись вовремя и выдерживали SLA по свежести. Работать с качеством данных: добавлять проверки, мониторить аномалии, разбирать инциденты, когда “признак поехал”. Совместно с DS и аналитиками придумывать новые признаки и помогать перевести их из экспериментальных скриптов в стабильные пайплайны.

Требования

• от 5 лет опыта в роли Data Engineer / Backend+Data
• Уверенный опыт работы с Kafka‑подобными очередями (Databus/Kafka): продюсеры/консьюмеры, партиционирование, ключи, обработка ошибок
• Практический опыт со streaming‑движком (желательно Flink; Spark Structured Streaming подойдёт, если есть реальный прод‑опыт)
• Опыт работы с Redis или Cassandra как онлайновым хранилищем данных/признаков
• Опыт работы с S3‑подобным хранилищем и табличным форматом (Iceberg/Delta/Hudi) и доступа к ним через SQL‑движок (Trino/Presto/Spark SQL)
• Отличное знание SQL и опыт работы с ClickHouse
• Python на уровне уверенной разработки data‑скриптов и сервисной логики
• Опыт настройки и сопровождения пайплайнов в Airflow
• Понимание задач ML‑пайплайнов: train/serve skew, пересчёты признаков, влияние задержек и потерь событий

Условия

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников