Senior Data Engineer, Trust & Safety Platform

Wildberries; United States; Remote; USD 120,000 - 170,000; Full time

Benefits offered by this job

ДМС со стоматологией

Корпоративный спорт

Консультации психолога

Корпоративный университет и развитие

Питание в офисе

Job summary

Wildberries ищет инженера по данным для разработки потоковых и пакетных пайплайнов. Ваша задача — обрабатывать события из Databus/Kafka, считать онлайн‑признаки и сохранять результаты в Redis/Cassandra.

Также нужно проектировать пакетные потоки через Trino/S3‑Iceberg и обеспечивать согласованность признаков между обучением и продакшеном. Требуется глубокое знание SQL, опыт работы с ClickHouse и умение писать надёжные пайплайны в Python с использованием Airflow.

Qualifications

• 5+ лет опыта в роли Data Engineer / Backend+Data.
• Уверенный опыт работы с Kafka‑подобными очередями (Databus/Kafka).
• Практический опыт со streaming‑движком (Flink; Spark Structured Streaming).
• Опыт Redis/Cassandra как онлайн‑хранилищ данных/признаков.
• Опыт работы с S3‑подобными хранилищами и Iceberg/Delta/Hudi через SQL‑движок (Trino/Presto/Spark SQL).
• Отличное знание SQL и опыт работы с ClickHouse.
• Python на уровне уверенной разработки data‑скриптов.
• Опыт настройки и сопровождения пайплайнов в Airflow.
• Понимание ML‑пайплайнов: train/serve, перерасчёты признаков.

Responsibilities

• Проектировать и развивать потоковые процессы чтения событий из Databus/Kafka и расчёт онлайн‑признаков.
• Проектировать пакетные процессы чтения данных из S3/Iceberg через Trino, расчёт офлайн‑признаков.
• Обеспечивать согласованность признаков между обучением и продакшеном.
• Настраивать расписания, пересчёты и бэки для своевременного обновления признаков.
• Работать с качеством данных: проверки, мониторинг аномалий, разбор инцидентов.
• Совместно с DS и аналитиками придумывать новые признаки и переводить скрипты в пайплайны.

Skills

Kafka/Databus

Streaming engines (Flink)

Redis/Cassandra

S3/Iceberg/Delta/Hudi

SQL & ClickHouse

Python

Airflow

ML pipelines

Trino/Presto

Spark SQL

Tools

Trino/Presto

Spark SQL

Job description

Wildberries ищет инженера по данным для разработки потоковых и пакетных пайплайнов. Ваша задача — обрабатывать события из Databus/Kafka, считать онлайн‑признаки и сохранять результаты в Redis/Cassandra.

Также нужно проектировать пакетные потоки через Trino/S3‑Iceberg и обеспечивать согласованность признаков между обучением и продакшеном. Требуется глубокое знание SQL, опыт работы с ClickHouse и умение писать надёжные пайплайны в Python с использованием Airflow.