Data engineer in fintech

Decart IT-production; United States; Remote; USD 100,000 - 180,000; Full time

Benefits offered by this job

Remote work

IP / самозанятость

Job summary

Decart IT-производство набирает Data Engineer для разработки production data pipelines, сбора и обработки больших данных с использованием ETL/ELT, Airflow, Spark/PySpark и Kafka. Ваша задача — строить надежные пайплайны, оптимизировать хранение и мониторинг данных, взаимодействовать с крупными БД и системами DWH.

Требуется 3–4 года опыта Python и глубокие знания SQL, опыт работы с PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL, а также владение Hadoop/Hive.

Qualifications

• 3–4 года коммерческого опыта разработки на Python и документированного кода.
• Глубокое знание SQL и работу с промышленными БД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL).
• Опыт разработки production data pipelines и оркестрации Airflow.
• Опыт Spark/PySpark и потоковой обработки Kafka, знание Hadoop/Hive.

Responsibilities

• Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших данных (ETL/ELT).
• Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow.
• Разрабатывать высоконагруженные обработчики с Spark/PySpark и Kafka.
• Работать с промышленными БД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL).
• Участвовать в миграциях ETL/DWH и развивать Data Warehouse; обеспечивать качество данных и мониторинг.

Skills

Python

SQL

Data pipelines

Tools

Airflow

Spark/PySpark

Hadoop/Hive

Kafka

PostgreSQL

Greenplum

Oracle

ClickHouse

Job description

Описание:

В нашей компании Decart IT мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют. Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза! Сейчас мы ищем кандидатов на позицию Data Engineer!

Задачи:

• Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших объемов данных (ETL/ELT)
• Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow
• Разрабатывать высоконагруженные обработчики потоковых данных на Spark/PySpark и Kafka
• Выполнять запросы и оптимизировать хранение данных в промышленных СУБД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL)
• Поддерживать и развивать Data Warehouse (хранилища данных), работая со слоями DDS, DM (моделирование данных)
• Обеспечивать надежность и отказоустойчивость существующих пайплайнов: мониторинг, отладка, рефакторинг и оптимизация производительности
• Участвовать в миграциях ETL/DWH систем (при наличии соответствующих проектов)
• Внедрять практики Data Quality и контроля целостности данных на всех этапах обработки

Требования:

• Уверенный коммерческий опыт разработки на Python (от 3–4 лет) с написанием поддерживаемого и документированного кода
• Глубокое знание SQL и опыт работы с промышленными БД (обязательно хотя бы с одной из: PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL)
• Опыт разработки и сопровождения production data pipelines в продакшене
• Практическое использование Apache Airflow для оркестрации задач
• Опыт работы с Apache Spark/PySpark и потоковой обработкой Kafka
• Знание экосистемы Hadoop/Hive

Будет плюсом: Опыт с ETL-инструментами (Informatica/SAS DIS); Работа с NiFi для построения потоков данных; Хранение данных в форматах Parquet/ORC и работа с табличными форматами (Iceberg); Опыт работы с облачными объектными хранилищами (S3 или аналоги); Навыки моделирования данных (Data Vault, Kimball, 3NF); Опыт миграций ETL/DWH систем; Настройка мониторинга и визуализации метрик (Grafana/Prometheus); Контроль качества данных (Data Quality)

Условия:

• Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме
• Оформление ИП, самозанятость
• Можешь работать из любого места, где тихо и есть интернет (на территории РФ)