Data engineer

Умная Логистика; United States; Remote; USD 90,000 - 150,000; Full time

Job summary

«Умная Логистика» — ведущая SaaS‑экосистема для управления цепочками поставок и грузоперевозками в РФ. Ваша задача — развивать DWH и Data Lake, проектировать ETL/ELT‑пайплайны на PySpark и Python, а также оркестрацию процессов в Airflow и подготовку витрин BI в Superset.

Требуется 1.5+ лет коммерческого опыта, уверенное владение SQL, PostgreSQL, ClickHouse и Linux. Возможна полная удалёнка или офис. Предпочтение кандидатам с опытом работы с Kafka/RabbitMQ, dbt и Great Expectations.

Qualifications

• Коммерческий опыт работы в роли Data Engineer или DWH‑разработчика от 1.5 лет.
• Уверенное владение SQL: сложные агрегаты, оконные функции, CTE, планы выполнения (EXPLAIN).
• Опыт работы с Apache Airflow: создание DAG‑ов, кастомные и стандартные операторы, идея идемпотентности и бэкфилл.
• PostgreSQL, ClickHouse: реляционное моделирование, индексы, транзакции; S3‑совместимые хранилища; форматы Parquet/ORC.
• Уверенный Python: чистый и структурированный код для обработки данных.
• Базовые знания подготовки данных для BI (Apache Superset).
• Навыки Git, Docker и Linux‑окружения.
• Будут плюсом: Kafka/RabbitMQ, dbt, Great Expectations, Pandera, подключение к BI‑слоям в Superset; понимание логистического или B2B SaaS домена.

Responsibilities

• Развитие DWH и Data Lake: проектирование и наполнение аналитических слоёв на базе S3, PostgreSQL и ClickHouse.
• Разработка ETL/ELT‑пайплайнов с PySpark и Python.
• Оркестрация процессов: DAG‑и в Apache Airflow, их мониторинг и оптимизация.
• Подготовка витрин для BI: поставка агрегированных данных под задачи аналитики в Apache Superset.
• Интеграция данных из микросервисов и внешних API (телематика, скоринг контрагентов, картографические сервисы).
• Контроль качества данных, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.

Skills

SQL

Python

Apache Spark (PySpark)

ETL/ELT design

Data quality & profiling

Git

Linux

Tools

Apache Airflow

PostgreSQL

ClickHouse

S3-compatible storage

Parquet/ORC

Docker

Job description

Описание:

«Умная Логистика» — ведущая SaaS-экосистема для управления цепочками поставок и грузоперевозками в РФ. Нашей платформой ежедневно пользуются тысячи грузовладельцев и транспортных компаний, чтобы распределять заказы, отслеживать грузы в пути, рассчитывать оптимальные ставки и оформлять электронные документы.

Задачи:

• Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse.
• Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python.
• Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow.
• Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset.
• Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы).
• Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL.

Требования:

• Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет.
• Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN).
• Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов.
• PostgreSQL (реляционное моделирование, индексы, транзакции); ClickHouse (семейство движков MergeTree, специфика колоночного хранения); S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC).
• Уверенный Python: Написание чистого, структурированного кода для задач обработки данных.
• Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset).
• Навыки работы с Git, Docker и Linux-окружением.
• Будет плюсом: Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ); Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera); Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset; Понимание логистического или B2B SaaS-домена

Условия:

• Участие в развитии современной платформы данных без устаревшего легаси в связке с сильной командой.
• Полностью официальное трудоустройство по ТК РФ, белая заработная плата.
• Полная удаленка из любой точки РФ или работа в комфортном офисе.
• Производительный рабочий ноутбук и все необходимые доступы.
• Компенсация профильных курсов, профильной литературы и участия в конференциях.
• Минимум бюрократии, открытость к инженерным инициативам и доверие к процессам.