SOC engineer ETL

Wildberries; United States; Remote; USD 130,000 - 210,000; Full time

Benefits offered by this job

Обучение и развитие

ДМС со стоматологией

Корпоративный спорт

Психологические консультации

Клубы и сообщества

Job summary

Wildberries — объединённая компания с Russ, развивает технологии обработки больших данных и потоковую обработку. Ваша роль — Senior-специалист по ETL и Flink, работа с Java и современными инструментами хранения данных для обогащения и анализа потоков данных.

Ожидается опыт разработки под Apache Flink, знание Iceberg/Parquet и основ Hadoop, а также навык настройки CI/CD и работы с лог-шипперами. Условия включают обучение, корпоративные программы и поддержку сотрудников.

Qualifications

• Сильный опыт в ETL и потоковой обработке данных.
• Отличное знание Java и опыта написания кода на Apache Flink.
• Опыт работы с технологиями хранения и обработки больших данных (Iceberg, Parquet, Hadoop).
• Понимание принципов лог-шиппинга (Vector/Logstash) и CI/CD процессов.

Responsibilities

• Развитие Apache Flink: поддержка и улучшение текущего инструмента и пайплайнов.
• Работа с потоками данных: настройка процессов обогащения и агрегации.
• Написание кода под Apache Flink на Java.
• Развитие инфраструктуры данных и Data Lake решений.

Skills

ETL & Streaming

Java

Apache Flink

Iceberg

Parquet

Hadoop

Vector/Logstash

CI/CD

Tools

Apache Flink

Iceberg

Parquet

Hadoop

Job description

Описание

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Задачи

• Развитие Apache Flink: поддержка и усовершенствование текущего инструмента Flink и существующих пайплайнов обработки данных.
• Работа с потоками данных (Streaming/ETL): настройка процессов обогащения данных и агрегации.
• Написание кода для Flink в основном на Java.
• Развитие базы: фундамент (база) уже сделан, предстоит заниматься именно обогащением данных.
• Постановкой задач (ТЗ) обеспечивают аналитики, которые приносят готовые требования.
• Внедрение новых технологий: интеграция и развитие инструментов Big Data и концепции Data Lake.

Требования

• Уровень Senior с сильным бэкграундом в ETL и Streaming (стриминг данных).
• Отличное знание Java и опыт написания кода под Apache Flink.
• Опыт работы с технологиями хранения и обработки больших данных (Iceberg, Parquet, Hadoop).
• Понимание принципов работы лог-шипперов (Vector/Logstash) и CI/CD процессов.

Условия

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.