Инженер данных: ETL с Airflow, Kafka и SQL

Альфа-Банк; United States; À distance; USD 90 000 - 120 000; Plein temps

Avantages offerts par ce poste

Квартальная премия KPI

ДМС с первых дней (стоматология)

Компенсация больничного 10 дней

Оплата конференций и курсов

Доступ к Alpina Digital и MyBook

Résumé du poste

HireHi ищет специалиста по данным для разработки и поддержки ETL-процессов и пайплайнов загрузки данных в единый интеграционный слой. Обязанности включают проектирование и разработку пайплайнов, настройку CDC через Debezium и Kafka, ETL через Informatica PowerCenter, а также оркестрацию потоков Airflow.

Требуется 2–3 года опыта, уверенное знание SQL, знание JSON/XML, понимание DWH и SCD. Знание Python и Git будет плюсом; предлагаются KPI-бонусы, ДМС, конференции и доступ к корпоративным ресурсам.

Qualifications

• Опыт инженерии данных 2–3 года.
• Уверенное знание SQL.
• Опыт оркестрации пайплайнов в Airflow.
• Опыт Kafka и Debezium, CDC.
• Работа с JSON/XML, преобразование в табличный вид.
• Понимание принципов DWH и SCD.
• Опыт пакетных и near-real-time пайплайнов.
• Знание Python или другого языка для обработки данных.
• Знание Git и процессов выпуска.
• Будет плюсом: опыт с несколькими источниками (1С, SAP, API), Oracle/PLSQL, больших объёмов данных, dbt и Great Expectations.

Responsabilités

• Проектировать и разворачивать пайплайны загрузки данных в единый интеграционный слой.
• Настраивать CDC через Debezium и Kafka, обрабатывать вставки/обновления/удаления, поздние данные и изменения схем.
• Разрабатывать ETL-процессы на Informatica PowerCenter и оркестрировать потоки через Airflow.
• Поддерживать загрузку данных в режим 1:1 с источником, обеспечивать полноту и целостность.
• Разрабатывать трансформации для преддетального слоя и приводить данные к виду DWH в Oracle.
• Интегрировать данные из источников через Impala, Hadoop и Spark.
• Обеспечивать работу пакетных и близких к онлайн пайплайнов, вести документацию и метаданные, участвовать в ревью кода.

Connaissances

SQL

Airflow

Kafka

Debezium

Python

Git

DWH

ETL

JSON

XML

Outils

Informatica PowerCenter

Oracle/PLSQL

Hadoop

Spark

dbt

Great Expectations

Description du poste

HireHi ищет специалиста по данным для разработки и поддержки ETL-процессов и пайплайнов загрузки данных в единый интеграционный слой. Обязанности включают проектирование и разработку пайплайнов, настройку CDC через Debezium и Kafka, ETL через Informatica PowerCenter, а также оркестрацию потоков Airflow.

Требуется 2–3 года опыта, уверенное знание SQL, знание JSON/XML, понимание DWH и SCD. Знание Python и Git будет плюсом; предлагаются KPI-бонусы, ДМС, конференции и доступ к корпоративным ресурсам.