Data engineer

ФАКТОР; United States; Remote; USD 15,000 - 22,000; Full time

Benefits offered by this job

Remote work

Flexible schedule

DMS including dentistry

Discount card for products

Job summary

Zolla ищет Data Engineer в штат для разработки и поддержки ETL/ELT пайплайнов, загрузки данных из внешних API и их хранении в MSSQL, PostgreSQL и ClickHouse. Будете оркестрировать процессы через Airflow, оптимизировать SQL, поддерживать OLAP кубы SSAS, и подготавливать витрины данных для аналитиков.

Работа удалённо или в офисе; график 5/2, официальное оформление по ТК РФ, ДМС и корпоративные скидки. Возможности роста и развития в крупной федеральной сети модной одежды.

Qualifications

• Высшее, неоконченное высшее образование.
• Опыт коммерческой разработки ETL-процессов от 2 лет.
• Уверенное знание SQL, оконные функции, CTE, оптимизация.
• Опыт работы с MSSQL, PostgreSQL на уровне запросов и производительности.
• Практический опыт разработки на Python: pandas, SQLAlchemy, requests; REST API.
• Опыт оркестрации процессов: Apache Airflow: DAG, Operators, Scheduler, подключения.
• Навыки работы с BI-инструментами: подключение к БД, датасеты, оптимизация запросов.
• Понимание DWH: схемы звезда/снежинка, медленно меняющиеся измерения.
• Опыт Git (GitLab), командная разработка, CI/CD.
• Ответственность и проактивность, умение работать в команде.

Responsibilities

• Разработка и поддержка ETL/ELT пайплайнов для выгрузки данных в хранилище.
• Оркестрация процессов с Apache Airflow: миграция cron в DAG, мониторинг, перезапуск.
• Оптимизация SQL-запросов и хранимых процедур: индексы, партиционирование, планы выполнения.
• Поддержка OLAP кубов SSAS Tabular и миграция в DWH.
• Подготовка витрин данных для аналитиков и BI: проектирование схем, наполнение данными, контроль качества.
• Настройка и сопровождение инфраструктуры для аналитиков: Jupyter/JupyterHub, доступ к данным.
• Мониторинг пайплайнов и уведомления о статусе задач.

Skills

ETL/ELT pipelines

SQL

Python

Airflow

REST API

Education

Высшее, неоконченное образование

Tools

MSSQL

PostgreSQL

ClickHouse

SSAS Tabular

JupyterHub

GitLab

MongoDB

Kafka

RabbitMQ

Job description

Описание:

Компания Zolla – крупная федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в команду Data Engineer/Дата-инженера.

Задачи:

• Разработка и поддержка ETL/ELT-пайплайнов для выгрузки данных из API внешних площадок (маркетплейсы, сервисы погоды, и прочие сервисы) в хранилище (MSSQL, PostgreSQL, ClickHouse)


• Оркестрация процессов с помощью Apache Airflow: миграция существующих cron-скриптов в управляемые DAG-и, настройка зависимостей, мониторинг и перезапуск процессов


• Оптимизация производительности SQL-запросов и хранимых процедур: настройка индексов, партиционирование, анализ планов выполнения


• Поддержка и в будущем миграция OLAP-кубов на базе Microsoft Analysis Services (SSAS Tabular) в DWH хранилище


• Подготовка витрин данных для аналитиков и BI-систем: проектирование схем, наполнение данными, контроль качества


• Настройка и сопровождение инфраструктуры для аналитиков: Jupyter Notebook/JupyterHub, обеспечение быстрого доступа к данным


• Мониторинг состояния пайплайнов и отправка уведомлений (в различные каналы) о статусе выполнения задач

Требования:

• Высшее, неоконченное высшее образование


• Опыт коммерческой разработки ETL-процессов от 2-х лет


• Уверенное знание SQL (сложные запросы с оконными функциями, CTE, оптимизация, хранимые процедуры, триггеры)


• Опыт работы с реляционными СУБД: MSSQL, PostgreSQL (администрирование на уровне запросов, настройка производительности)


• Практический опыт разработки на Python: написание ETL-скриптов с использованием pandas, SQLAlchemy, requests; интеграция с REST API


• Опыт оркестрации процессов: Apache Airflow (понимание архитектуры DAG, Operators, Scheduler, настройка подключений)


• Навыки работы с BI-инструментами на уровне подключения и оптимизации датасетов (Yandex DataLens: подключение к БД, создание датасетов, оптимизация производительности запросов)


• Понимание жизненного цикла данных, принципов построения DWH (схемы «звезда», «снежинка», медленно меняющиеся измерения)


• Опыт работы с Git (GitLab) и командной разработкой (Code Review, CI/CD)


• Ответственность, проактивность, умение работать как самостоятельно, так и в команде с аналитиками и разработчиками


• Будет плюсом: Опыт работы с ClickHouse (знание движков таблиц, оптимизация запросов, распределённые таблицы)


• Будет плюсом: Опыт администрирования JupyterHub в Docker-контейнерах


• Будет плюсом: Опыт работы с NoSQL-базами (MongoDB)


• Будет плюсом: Понимание архитектуры потоковой обработки данных (Kafka, RabbitMQ)

Условия:

• Работу удаленно или в комфортабельном и уютном офисе в БЦ Кунцево Плаза в 5 минутах пешком от м. Молодежная


• График работы 5/2 (гибкое начало рабочего дня)


• Оформление в соответствии с ТК РФ, официальную заработную плату (выплата 2 раза в месяц), оплачиваемый больничный лист, оплачиваемый отпуск 28 календарных дней


• ДМС включая стоматологию (условия в зависимости от стажа работы)


• Дисконтную карту на продукцию компании, участие в распродажах в офисе


• Корпоративные скидки на фитнес


• Реальные перспективы профессионального и карьерного роста


• А еще уютные лаундж-зоны, технологичные переговорные, просторные кухни и вкусный капучино