DWH Инженер: ETL/ELT, PySpark & Airflow

IT People group; United States; Remote; USD 90,000 - 130,000; Full time

Job summary

IT People group ищет инженера данных/ETL с опытом в SQL и PySpark. Вы будете уточнять задачи аналитиков, документировать результаты и работать с разработчиками, архитекторами и заказчиками над интеграционными решениями.

Требуется владение PostgreSQL, Apache Airflow, Kafka и RabbitMQ, знание Hadoop-экосистемы и инструментов потоков данных. Работа на условиях full-time в рамках проектов с сжатыми сроками.

Qualifications

• Опыт разработки ETL/ELT для хранилищ данных и озёр данных.
• Уверенное владение SQL/PLSQL и оптимизацией запросов.
• Знание Hadoop-эко-системы и инструментов потоковой обработки.

Responsibilities

• Самостоятельно уточнять постановки аналитиков и документировать результаты в базе знаний.
• Взаимодействовать с разработчиками, аналитиками, архитекторами и заказчиками.

Skills

Инженер данных

SQL

PySpark

Apache Airflow

API/веб-сервисы

Kafka

RabbitMQ

Jira

Confluence

Git

Hadoop/Spark/Hive/Impala

Apache Iceberg

S3 Minio

Tools

PostgreSQL

Apache Airflow

Kafka

RabbitMQ

Jira

Confluence

Git

Apache Spark

Hive

Impala

Apache Iceberg

S3 Minio

Job description

IT People group ищет инженера данных/ETL с опытом в SQL и PySpark. Вы будете уточнять задачи аналитиков, документировать результаты и работать с разработчиками, архитекторами и заказчиками над интеграционными решениями.

Требуется владение PostgreSQL, Apache Airflow, Kafka и RabbitMQ, знание Hadoop-экосистемы и инструментов потоков данных. Работа на условиях full-time в рамках проектов с сжатыми сроками.