DWH Инженер: ETL и дата-платформы

NDA; United States; Remote; USD 28,000 - 33,000; Full time

Job summary

NDA ищет инженера данных для модернизации ПО и расширения функционала автоматизированной системы оценки и построения рейтингов. Ваша роль включает обследование интеграций, состав данных и расчётов, а также документацию источников данных и правил преобразования.

Задачи: развивать интеграции, дата-продукты и витрины данных, обеспечивать загрузку истории и тестировать процессы. Требуется опыт SQL/PySpark, Airflow, PostgreSQL и работы с очередями.

Qualifications

• Опыт от 2,5 лет в роли инженера данных или разработчика ETL, знание SQL и PySpark.
• Опыт работы с PostgreSQL, Apache Airflow, API и веб-сервисами, работа с очередями.
• Опыт реализации ETL/ELT для хранилищ данных и озёр.
• Уверенное владение SQL/PLSQL, оптимизация запросов, в т.ч. OLAP.
• Умение создавать DAG в Airflow и управлять зависимостями пайплайнов.
• Базовые знания Hadoop/Spark/Hive/Impala, по курсам или практике.
• Опыт работы с Kafka или RabbitMQ, Jira, Confluence и Git.
• Готовность дорабатывать постановки аналитиков и документировать результаты.
• Способность работать в сжатые сроки, взаимодействовать с командой заказчика.
• Плюсом: S3 Minio и Apache Iceberg.

Responsibilities

• Изучать текущие интеграции, данные и расчёты, согласовывать изменения.
• Составлять и актуализировать документацию, источники данных и правила преобразования.
• Согласовывать документы в системах управления метаданными.
• Разрабатывать новые и дорабатывать существующие интеграции.
• Разрабатывать дата-продукты, сервисы доступа к данным и витрины.
• Реализовывать процессы расчётов и преобразования данных в хранилищах.
• Контролировать загрузку исторических данных и настраивать обновления.
• Тестировать ETL-пайплайны и устранять дефекты.

Skills

SQL

PySpark

ETL

OLAP

Документация

Tools

PostgreSQL

Apache Airflow

API интеграции

Kafka

RabbitMQ

Git

Jira

Confluence

S3 Minio

Apache Iceberg

Spark

Hive/Impala

Job description

NDA ищет инженера данных для модернизации ПО и расширения функционала автоматизированной системы оценки и построения рейтингов. Ваша роль включает обследование интеграций, состав данных и расчётов, а также документацию источников данных и правил преобразования.

Задачи: развивать интеграции, дата-продукты и витрины данных, обеспечивать загрузку истории и тестировать процессы. Требуется опыт SQL/PySpark, Airflow, PostgreSQL и работы с очередями.