дата-инженер в ОК

Одноклассники; United States; Vor Ort; USD 120.000 - 170.000; Vollzeit

Benefits dieser Stelle

ДМС

Zusammenfassung

HireHi приглашает специалистов в команду DWH, которая работает с огромными данными, строит витрины и отчёты, подготавливает данные для А/Б-тестов и передаёт их другим бизнес-юнитам.

Вы будете разворачивать новые и рефакторить существующие ETL-процессы, выполнять разовые выгрузки и, при необходимости, автоматизировать их, а также участвовать в доработке платформы и фреймворка расчётов. Условия включают гибкий график, офис в центре города и ДМС.

Qualifikationen

• Требуется опыт работы с SQL и большими объёмами данных.
• Опыт построения сложных ETL-процессов.
• Знание базовых алгоритмов и структур хранения данных, понимание распределённых систем.

Aufgaben

• Строить новые и рефакторить старые ETL-процессы.
• Выполнять разовые задачи по выгрузке и подготовке данных, при необходимости автоматизировать их.
• Участвовать в доработке платформы и фреймворка расчётов.
• Разрабатывать отчёты в Superset.
• Автоматизировать процессы с использованием LLM.

Kenntnisse

SQL

Big data

Tools

ClickHouse

Spark

Hadoop stack

Java

Airflow

YTsaurus

YQL

LLM

Jobbeschreibung

Описание:

Команда DWH Одноклассников работает с 30 PiB данных и более чем 1000 ежедневных расчётов: строит витрины и отчёты, готовит данные для A/B-тестов, передаёт данные другим бизнес-юнитам и переводит расчёты на новые технологии.

Задачи:

• Строить новые и рефакторить старые ETL-процессы
• Выполнять разовые задачи по выгрузке и подготовке данных, при необходимости автоматизировать их
• Участвовать в доработке платформы и фреймворка расчётов
• Разрабатывать отчёты в Superset
• Автоматизировать процессы с использованием LLM

Требования:

• Опыт работы с SQL и большими объёмами данных
• Опыт построения сложных ETL-процессов
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
• Будет плюсом: опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow, YTsaurus, YQL и LLM

Условия:

• Гибкий график работы
• Офис в центре города
• ДМС