Remote Data Engineer for Fintech — ETL & Spark Expert

Decart IT-production

United States

A distancia

USD 100.000 - 180.000

Jornada completa

hace 44 horas

Sé de los primeros/as/es en solicitar esta vacante

Consigue una respuesta de este empleador

Tu currículum y tu carta de presentación, adaptados exactamente a lo que buscan contratar.

Supera los filtros ATS

Ventajas ofrecidas por este puesto de trabajo

Remote work

IP / самозанятость

Descripción de la vacante

Decart IT-производство набирает Data Engineer для разработки production data pipelines, сбора и обработки больших данных с использованием ETL/ELT, Airflow, Spark/PySpark и Kafka. Ваша задача — строить надежные пайплайны, оптимизировать хранение и мониторинг данных, взаимодействовать с крупными БД и системами DWH.

Требуется 3–4 года опыта Python и глубокие знания SQL, опыт работы с PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL, а также владение Hadoop/Hive.

Formación

3–4 года коммерческого опыта разработки на Python и документированного кода.
Глубокое знание SQL и работу с промышленными БД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL).
Опыт разработки production data pipelines и оркестрации Airflow.
Опыт Spark/PySpark и потоковой обработки Kafka, знание Hadoop/Hive.

Responsabilidades

Проектировать и разрабатывать production data pipelines для сбора, обработки и трансформации больших данных (ETL/ELT).
Настраивать и поддерживать оркестрацию пайплайнов с использованием Apache Airflow.
Разрабатывать высоконагруженные обработчики с Spark/PySpark и Kafka.
Работать с промышленными БД (PostgreSQL/Greenplum/Oracle/ClickHouse/MS SQL).
Участвовать в миграциях ETL/DWH и развивать Data Warehouse; обеспечивать качество данных и мониторинг.