Data Engineer для телеком: ETL миграции, Spark и Airflow

Top Selection; United States; Remote; USD 25.000 - 40.000; Vollzeit

Zusammenfassung

Top Selection ищет инженера для миграции ETL-систем в телеком-пространстве. В обязанностях — перенос бизнес-логики из Informatica в SQL, разработка DAG в Airflow и настройка NiFi, интеграция Kafka и Spark (PySpark). Требуется опыт работы с Oracle, PostgreSQL, Greenplum или ClickHouse, Hadoop/Hive и мониторингом в Grafana/Prometheus.

Вакансия оформляется как ИП, локация — Россия, рабочий пояс по МСК. Возможны удаленные/гибкие форматы обсуждения.

Qualifikationen

• Опыт миграции ETL-систем между технологиями.
• Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы.
• Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения.
• Знание Oracle (PL/SQL) и PostgreSQL.
• Знание Greenplum и/или ClickHouse.
• Опыт проектирования архитектур на Spark (PySpark), NiFi и Airflow.
• Знание Hadoop (HDFS) и Hive.
• Опыт мониторинга ETL в Grafana/Prometheus или VictoriaMetrics.
• Опыт работы с биллинговыми системами.

Aufgaben

• Мигрировать ETL-систему телеком-оператора на Apache-стек.
• Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код.
• Писать и оптимизировать SQL для витрин данных и ETL-процессов.
• Разрабатывать DAG в Airflow.
• Настраивать пайплайны в NiFi для источников Oracle и PostgreSQL и приёмников S3 и архивов.
• Разрабатывать задания Spark на PySpark для больших объёмов данных.
• Интегрировать Kafka для потоковой передачи данных.
• Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики.
• Разбирать инциденты с качеством данных и ошибками загрузки.
• Проводить проверку кода.

Kenntnisse

SQL-логика

ETL-мigration

Оптимизация SQL

Обработка больших данных

Мониторинг и метрики

Характеристики Hadoop/Hive

Airflow/NiFi

PySpark

Kafka/Streaming

Tools

Oracle

PostgreSQL

Greenplum

ClickHouse

Apache Spark (PySpark)

NiFi

Airflow

Hadoop/HDFS/Hive

Grafana/Prometheus

Jobbeschreibung

Top Selection ищет инженера для миграции ETL-систем в телеком-пространстве. В обязанностях — перенос бизнес-логики из Informatica в SQL, разработка DAG в Airflow и настройка NiFi, интеграция Kafka и Spark (PySpark). Требуется опыт работы с Oracle, PostgreSQL, Greenplum или ClickHouse, Hadoop/Hive и мониторингом в Grafana/Prometheus.

Вакансия оформляется как ИП, локация — Россия, рабочий пояс по МСК. Возможны удаленные/гибкие форматы обсуждения.