разработчик DWH

HireHi; United States; Remote; USD 90,000 - 120,000; Full time

Benefits offered by this job

Квартальная премия KPI

ДМС с первых дней (стоматология)

Компенсация больничного 10 дней

Оплата конференций и курсов

Доступ к Alpina Digital и MyBook

Job summary

HireHi ищет специалиста по данным для разработки и поддержки ETL-процессов и пайплайнов загрузки данных в единый интеграционный слой. Обязанности включают проектирование и разработку пайплайнов, настройку CDC через Debezium и Kafka, ETL через Informatica PowerCenter, а также оркестрацию потоков Airflow.

Требуется 2–3 года опыта, уверенное знание SQL, знание JSON/XML, понимание DWH и SCD. Знание Python и Git будет плюсом; предлагаются KPI-бонусы, ДМС, конференции и доступ к корпоративным ресурсам.

Qualifications

• Опыт инженерии данных 2–3 года.
• Уверенное знание SQL.
• Опыт оркестрации пайплайнов в Airflow.
• Опыт Kafka и Debezium, CDC.
• Работа с JSON/XML, преобразование в табличный вид.
• Понимание принципов DWH и SCD.
• Опыт пакетных и near-real-time пайплайнов.
• Знание Python или другого языка для обработки данных.
• Знание Git и процессов выпуска.
• Будет плюсом: опыт с несколькими источниками (1С, SAP, API), Oracle/PLSQL, больших объёмов данных, dbt и Great Expectations.

Responsibilities

• Проектировать и разворачивать пайплайны загрузки данных в единый интеграционный слой.
• Настраивать CDC через Debezium и Kafka, обрабатывать вставки/обновления/удаления, поздние данные и изменения схем.
• Разрабатывать ETL-процессы на Informatica PowerCenter и оркестрировать потоки через Airflow.
• Поддерживать загрузку данных в режим 1:1 с источником, обеспечивать полноту и целостность.
• Разрабатывать трансформации для преддетального слоя и приводить данные к виду DWH в Oracle.
• Интегрировать данные из источников через Impala, Hadoop и Spark.
• Обеспечивать работу пакетных и близких к онлайн пайплайнов, вести документацию и метаданные, участвовать в ревью кода.

Skills

SQL

Airflow

Kafka

Debezium

Python

Git

DWH

ETL

JSON

XML

Tools

Informatica PowerCenter

Oracle/PLSQL

Hadoop

Spark

dbt

Great Expectations

Job description

Описание: Описания нет

Задачи:

• Проектировать и разрабатывать пайплайны загрузки данных из источников в единый интеграционный слой
• Настраивать CDC через Debezium и Kafka, обрабатывать вставки, обновления и удаления, поздние данные, дубли и изменения схем
• Разрабатывать ETL-процессы на Informatica PowerCenter и оркестрировать потоки через Airflow
• Поддерживать загрузку данных в режиме 1:1 с источником, контролировать полноту и целостность
• Разрабатывать трансформации в преддетальном слое, приводить типы, форматы, структуры, ключи и справочники к виду DWH на Oracle
• Интегрировать данные из источников с помощью Impala, Hadoop и Spark
• Обеспечивать работу пакетных и почти оперативных пайплайнов
• Вести документацию, отслеживание происхождения данных и метаданные, участвовать в проверке кода
• Работать в кросс-функциональной команде с аналитиками, специалистами по тестированию, администраторами баз данных, архитектором и бизнес-заказчиком

Требования:

• Опыт в инженерии данных от 2–3 лет
• Уверенное знание SQL
• Опыт оркестрации пайплайнов в Airflow
• Опыт работы с Kafka и Debezium, понимание CDC
• Опыт обработки JSON и XML, преобразования полуструктурированных данных в табличный вид
• Понимание принципов DWH, слоёв хранилища, историчности, SCD и качества данных
• Опыт работы с пакетными и почти оперативными пайплайнами
• Знание Python или другого языка для автоматизации и обработки данных
• Знание Git и понимание процессов выпуска
• Будет плюсом: опыт работы с несколькими источниками, включая 1С, SAP, API и реляционные базы данных, Oracle и PL/SQL, большими объёмами данных и потоковой обработкой, Great Expectations, dbt или другими инструментами контроля качества данных, архитектурой DWH и построением бизнес-сущностей из нескольких источников, разработкой ETL-процессов на Informatica PowerCenter

Условия:

• Квартальная премия по результатам KPI
• Программа ДМС с первых дней работы, включая стоматологию и страхование
• Компенсация 10 дней больничного
• Оплата профильных конференций и курсов
• Доступ к корпоративным библиотекам Alpina Digital и MyBook, а также бизнес-изданиям
• Доступ к спортивным залам в Москве, Санкт-Петербурге и Екатеринбурге, скидки на услуги туристических агентств, продукты питания, рестораны, бары и магазины