Data engineer в e-commerce

LibraSound; United States; Remote; USD 110,000 - 180,000; Full time

Job summary

LibraSound ищет Data Engineer для развития DWH и высоконагруженных ETL/ELT-процессов. Ваша задача — проектировать слои DWH (Raw, Staging, Data Marts), строить распределенные пайплайны на Apache Spark и управлять репликацией данных между PostgreSQL, ClickHouse и S3.

Требуется опыт PySpark/Spark SQL, знание Spark архитектуры, SQL и витрин данных, опыт работы с Airflow, PostgreSQL и ClickHouse. Полностью удалённая работа с гибким началом дня.

Qualifications

• Практический опыт разработки пайплайнов обработки больших данных (PySpark / Spark SQL).
• Понимание архитектуры Spark (RDD, DataFrame, DAG, стейджи) и оптимизации (shuffle, partitioning).
• Уверенное владение DDL/DML, оконными функциями, планами выполнения запросов.
• Опыт PostgreSQL и ClickHouse, понимание движков таблиц и партиционирования.

Responsibilities

• Проектировать и развивать слои DWH: Raw, Staging, Data Marts.
• Разрабатывать распределенные пакетные и инкрементальные пайплайны на Spark.
• Организовывать репликацию и синхронизацию между источниками (PostgreSQL, ClickHouse, S3).
• Писать и оптимизировать сложные SQL-запросы и витрины данных.
• Настраивать мониторинг пайплайнов, обеспечивать качество данных.

Skills

PySpark

Spark SQL

Data Pipelines

SQL

PostgreSQL

ClickHouse

Airflow

Education

Высшее образование в ИТ

Tools

dbt

Presto/Trino

Docker

Git

Linux

Job description

Описание:

Мы развиваем аналитическую платформу и хранилище данных для сервисов аналитики e-commerce. Ищем Data Engineer, который поможет нам развивать DWH, проектировать высоконагруженные ETL/ELT-процессы и строить витрины данных для BI и внутренних сервисов.

Задачи:

Проектировать и развивать слои DWH (Raw, Staging, Data Marts). Разрабатывать и поддерживать распределенные пакетные и инкрементальные пайплайны обработки данных на Apache Spark. Организовывать репликацию и синхронизацию данных между источниками (PostgreSQL, ClickHouse, S3). Писать и оптимизировать сложные SQL-запросы, хранимые процедуры и витрины данных. Настраивать мониторинг пайплайнов, отслеживать качество и актуальность данных (Data Quality). Взаимодействовать с BI-разработчиками и аналитиками.

Требования:

практический опыт разработки пайплайнов обработки больших объемов данных (PySpark / Spark SQL), понимание архитектуры Spark (RDD, DataFrame, DAG, стейдж/таски) и методов оптимизации (shuffle, partitioning, caching). уверенное владение DDL/DML, оконными функциями, понимание планов выполнения запросов и методов оптимизации. опыт работы с PostgreSQL и ClickHouse (понимание движков таблиц, партиционирования, агрегаций). опыт работы с Apache Airflow (написание DAG, custom operators, управление зависимостями). уверенное владение языкoм для разработки пайплайнов, работы с API и объектными хранилищами. базовые навыки работы с Linux, Git, Docker, Bash. Будет плюсом: Опыт работы со стеком dbt или Trino / Presto; Опыт работы с S3 / Yandex Object Storage; Понимание архитектуры и проектирования аналитических витрин для Power BI / Superset

Условия:

Оформление по ТК РФ / ИП / СЗ. Полностью удаленный формат работы с гибким началом дня. Адекватные процессы без бюрократии, современный стек инструментов. Профессиональный рост и сложные инженерные задачи.