DWH engineer системы оценки и рейтингов

NDA; United States; Remote; USD 28,000 - 33,000; Full time

Job summary

NDA ищет инженера данных для модернизации ПО и расширения функционала автоматизированной системы оценки и построения рейтингов. Ваша роль включает обследование интеграций, состав данных и расчётов, а также документацию источников данных и правил преобразования.

Задачи: развивать интеграции, дата-продукты и витрины данных, обеспечивать загрузку истории и тестировать процессы. Требуется опыт SQL/PySpark, Airflow, PostgreSQL и работы с очередями.

Qualifications

• Опыт от 2,5 лет в роли инженера данных или разработчика ETL, знание SQL и PySpark.
• Опыт работы с PostgreSQL, Apache Airflow, API и веб-сервисами, работа с очередями.
• Опыт реализации ETL/ELT для хранилищ данных и озёр.
• Уверенное владение SQL/PLSQL, оптимизация запросов, в т.ч. OLAP.
• Умение создавать DAG в Airflow и управлять зависимостями пайплайнов.
• Базовые знания Hadoop/Spark/Hive/Impala, по курсам или практике.
• Опыт работы с Kafka или RabbitMQ, Jira, Confluence и Git.
• Готовность дорабатывать постановки аналитиков и документировать результаты.
• Способность работать в сжатые сроки, взаимодействовать с командой заказчика.
• Плюсом: S3 Minio и Apache Iceberg.

Responsibilities

• Изучать текущие интеграции, данные и расчёты, согласовывать изменения.
• Составлять и актуализировать документацию, источники данных и правила преобразования.
• Согласовывать документы в системах управления метаданными.
• Разрабатывать новые и дорабатывать существующие интеграции.
• Разрабатывать дата-продукты, сервисы доступа к данным и витрины.
• Реализовывать процессы расчётов и преобразования данных в хранилищах.
• Контролировать загрузку исторических данных и настраивать обновления.
• Тестировать ETL-пайплайны и устранять дефекты.

Skills

SQL

PySpark

ETL

OLAP

Документация

Tools

PostgreSQL

Apache Airflow

API интеграции

Kafka

RabbitMQ

Git

Jira

Confluence

S3 Minio

Apache Iceberg

Spark

Hive/Impala

Job description

Описание

Проект предполагает модификацию программного обеспечения и расширение функционала автоматизированной системы оценки и построения рейтингов.

Задачи

Обследовать действующие интеграции, состав данных и расчёты, согласовывать изменения Составлять и актуализировать документацию, спецификации источников данных, правила преобразования и реестр расчётов Согласовывать документы и изменения в системах управления метаданными Разрабатывать новые и дорабатывать существующие интеграции Разрабатывать дата-продукты, сервисы доступа к данным, витрины, процессы расчётов и преобразования данных в различных слоях хранилища данных Выполнять и контролировать загрузку истории данных, настраивать регулярное обновление и устранять ошибки загрузки Тестировать процессы интеграции и обработки данных, сверять их с источниками и устранять дефекты

Требования

Опыт от 2,5 лет в качестве инженера данных или разработчика ETL на SQL и PySpark Опыт работы с PostgreSQL, Apache Airflow, API, веб-сервисами и очередями Опыт реализации ETL/ELT для хранилищ или озёр данных Уверенное владение SQL и PL/SQL, навыки оптимизации SQL, в том числе для OLAP Умение создавать DAG в Apache Airflow и управлять зависимостями ETL-пайплайнов Знание подходов к разработке, документированию и тестированию потоков данных Базовые знания Apache Hadoop (Spark, Hive или Impala), полученные на курсах, практике или самостоятельно Опыт работы с брокерами сообщений Kafka или RabbitMQ Знание Jira, Confluence и Git Готовность самостоятельно дорабатывать постановки аналитиков и документировать результаты в базе знаний Готовность работать в сжатые сроки Умение взаимодействовать с разработчиками, аналитиками, архитекторами и экспертами заказчика Будет плюсом: опыт работы с S3 Minio и Apache Iceberg

Условия

Оклад до 220 000 ₽/мес