Remote Data Engineer - DWH, Spark & Airflow

Умная Логистика; United States; Remote; USD 90,000 - 150,000; Full time

Job summary

«Умная Логистика» — ведущая SaaS‑экосистема для управления цепочками поставок и грузоперевозками в РФ. Ваша задача — развивать DWH и Data Lake, проектировать ETL/ELT‑пайплайны на PySpark и Python, а также оркестрацию процессов в Airflow и подготовку витрин BI в Superset.

Требуется 1.5+ лет коммерческого опыта, уверенное владение SQL, PostgreSQL, ClickHouse и Linux. Возможна полная удалёнка или офис. Предпочтение кандидатам с опытом работы с Kafka/RabbitMQ, dbt и Great Expectations.

Qualifications

• Коммерческий опыт работы в роли Data Engineer или DWH‑разработчика от 1.5 лет.
• Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, планы выполнения (EXPLAIN).
• Опыт работы с Apache Airflow: создание DAG‑ов, кастомные и стандартные операторы, идея идемпотентности и бэкфилл.
• PostgreSQL, ClickHouse: реляционное моделирование, индексы, транзакции; S3‑совместимые хранилища; форматы Parquet/ORC.
• Уверенный Python: чистый и структурированный код для обработки данных.
• Базовые знания подготовки данных для BI (Apache Superset).
• Навыки Git, Docker и Linux‑окружения.
• Будут плюсом: Kafka/RabbitMQ, dbt, Great Expectations, Pandera, подключение к BI‑слоям в Superset; понимание логистического или B2B SaaS домена.

Responsibilities

• Развитие DWH и Data Lake: проектирование и наполнение аналитических слоёв на базе S3, PostgreSQL и ClickHouse.
• Разработка ETL/ELT‑пайплайнов с PySpark и Python.
• Оркестрация процессов: DAG‑и в Apache Airflow, их мониторинг и оптимизация.
• Подготовка витрин для BI: поставка агрегированных данных под задачи аналитики в Apache Superset.
• Интеграция данных из микросервисов и внешних API (телематика, скоринг контрагентов, картографические сервисы).
• Контроль качества данных, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.

Skills

SQL

Python

Apache Spark (PySpark)

ETL/ELT design

Data quality & profiling

Git

Linux

Tools

Apache Airflow

PostgreSQL

ClickHouse

S3-compatible storage

Parquet/ORC

Docker

Job description

«Умная Логистика» — ведущая SaaS‑экосистема для управления цепочками поставок и грузоперевозками в РФ. Ваша задача — развивать DWH и Data Lake, проектировать ETL/ELT‑пайплайны на PySpark и Python, а также оркестрацию процессов в Airflow и подготовку витрин BI в Superset.

Требуется 1.5+ лет коммерческого опыта, уверенное владение SQL, PostgreSQL, ClickHouse и Linux. Возможна полная удалёнка или офис. Предпочтение кандидатам с опытом работы с Kafka/RabbitMQ, dbt и Great Expectations.