data engineer в телеком

Top Selection; United States; Remote; USD 25,000 - 40,000; Full time

Job summary

Top Selection ищет инженера для миграции ETL-систем в телеком-пространстве. В обязанностях — перенос бизнес-логики из Informatica в SQL, разработка DAG в Airflow и настройка NiFi, интеграция Kafka и Spark (PySpark). Требуется опыт работы с Oracle, PostgreSQL, Greenplum или ClickHouse, Hadoop/Hive и мониторингом в Grafana/Prometheus.

Вакансия оформляется как ИП, локация — Россия, рабочий пояс по МСК. Возможны удаленные/гибкие форматы обсуждения.

Qualifications

• Опыт миграции ETL-систем между технологиями.
• Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы.
• Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения.
• Знание Oracle (PL/SQL) и PostgreSQL.
• Знание Greenplum и/или ClickHouse.
• Опыт проектирования архитектур на Spark (PySpark), NiFi и Airflow.
• Знание Hadoop (HDFS) и Hive.
• Опыт мониторинга ETL в Grafana/Prometheus или VictoriaMetrics.
• Опыт работы с биллинговыми системами.

Responsibilities

• Мигрировать ETL-систему телеком-оператора на Apache-стек.
• Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код.
• Писать и оптимизировать SQL для витрин данных и ETL-процессов.
• Разрабатывать DAG в Airflow.
• Настраивать пайплайны в NiFi для источников Oracle и PostgreSQL и приёмников S3 и архивов.
• Разрабатывать задания Spark на PySpark для больших объёмов данных.
• Интегрировать Kafka для потоковой передачи данных.
• Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики.
• Разбирать инциденты с качеством данных и ошибками загрузки.
• Проводить проверку кода.

Skills

SQL-логика

ETL-мigration

Оптимизация SQL

Обработка больших данных

Мониторинг и метрики

Характеристики Hadoop/Hive

Airflow/NiFi

PySpark

Kafka/Streaming

Tools

Oracle

PostgreSQL

Greenplum

ClickHouse

Apache Spark (PySpark)

NiFi

Airflow

Hadoop/HDFS/Hive

Grafana/Prometheus

Job description

Описание:

Top Selection — группа компаний, занимающаяся трудоустройством IT-специалистов на проектную занятость в сфере телеком.

Задачи:

• Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache-стек
• Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код
• Писать и оптимизировать SQL для витрин данных и ETL-процессов
• Разрабатывать DAG в Airflow
• Настраивать пайплайны в NiFi для источников Oracle и PostgreSQL и приёмников S3 и файловых архивов
• Разрабатывать задания Spark на PySpark для больших объёмов данных
• Интегрировать Kafka для потоковой передачи данных
• Настраивать мониторинг в Grafana/Prometheus и отслеживать метрики
• Разбирать инциденты с качеством данных и ошибками загрузки
• Проводить проверку кода

Требования:

• Опыт миграции ETL-систем
• Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы
• Опыт оптимизации SQL для высоких нагрузок: партиционирование, индексы, планы выполнения
• Знание Oracle (PL/SQL) и PostgreSQL
• Знание Greenplum и/или ClickHouse
• Опыт проектирования архитектур на Apache Spark (PySpark), NiFi и Airflow
• Знание Hadoop (HDFS) и Hive
• Опыт мониторинга ETL в Grafana/Prometheus или VictoriaMetrics
• Опыт работы с биллинговыми системами
• Будет плюсом: опыт миграции с Oracle/Informatica на Apache-стек, опыт в телеком-домене, потоковая обработка в Kafka Streams/Spark Streaming, знание Informatica PowerCenter, бинарных форматов хранения в Hadoop, различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL, Patroni, S3-хранилищ, КриптоПро или защищённых каналов передачи данных

Условия:

• Оформление только как ИП
• Локация: РФ, часовой пояс МСК ± 3ч