DWH разработчик

Selecty; United States; Remote; USD 110,000 - 160,000; Full time

Benefits offered by this job

Удаленная работа

Официальное оформление в Selecty

ДМС со стоматологией

Скидки на языки

Реферальная программа

Job summary

Selecty ищет инженера данных для обследования действующих интеграций и разработки новых дата-архитектур. Ваша роль включает согласование метрик, поддержку истории данных и создание дата-продуктов и витрин.

Требуется минимум 2 года опыта, знание Greenplum/ADB, dbt, Airflow, Kafka и Hadoop. Вакансия удаленная с оформлением в штат компании.

Qualifications

• Опыт работы от 2 лет в роли инженера данных, разработчика ETL.
• Опыт работы с Greenplum или ADB, SQL/PLSQL.
• Знание Apache Airflow, Jira/Confluence и Git; работа с данными и документацией.

Responsibilities

• Обследование интеграций, состава данных и расчётов.
• Согласование изменений с перечнем показателей и глубины исторических данных.
• Разработка дата-продуктов, витрин данных и процессов расчетов.
• Тестирование процессов интеграции и обработок данных, устранение дефектов.

Skills

SQL

PL/SQL

Data Vault

Analytical thinking

Tools

dbt

Apache Airflow

Kafka

Hadoop

Jira

Confluence

Git

Greenplum/ADB

Job description

Описание

Описания нет

Задачи

Обследование действующих интеграций, состава данных и расчётов. Согласование изменений с перечнем показателей, потребителей, глубину исторических данных и периодичностью обновления. Составление и актуализация необходимой документации, спецификаций источников данных, структуры данных, правил преобразования и реестра расчётов. Согласование документов и изменений/дополнений в системах управления метаданными. Разработка новых и доработка существующих интеграций в соответствии с согласованной схемой интеграции. Разработка дата-продуктов, сервисов доступа к данным и публикации данных, витрин данных, процессов расчетов и преобразования данных в различных слоях ХД. Выполнение и контроль ошибок загрузки согласованной истории данных, настройка регулярного обновления данных. Тестирование процессов интеграции и обработки данных, сверка с источниками и устранение выявленных дефектов.

Требования

Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL в хранилищах данных на СУБД Greenplum или ADB. Опыт разработки с использованием dbt, оптимизации процессов загрузки и обработки больших витрин. Экспертиза в реализации ETL / ELT для хранилищ или озер данных; Уверенное владение SQL и PL/SQL СУБД Greenplum (ADB); Оптимизация SQL, в том числе для целей OLAP; Навыки работы с Apache Airflow — создание DAG’ов, управление зависимостями ETL-пайплайнов; Понимание Data Vault и навыки работы с ней; Знание подходов к разработке, документированию, тестированию потоков данных; Обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala); Понимание работы и взаимодействия с Kafka; Опыт работы в Jira, Confluence, Git. Готовность оперативно погрузиться в сложную архитектуру с множеством требований к разработке, неймингу объектов и т.д.; Самостоятельность: готовность докручивать постановки от аналитиков самостоятельно, документировать результаты своей работы в базе знаний; Готовность работать в условиях сжатых сроков; Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды, а также смежными подразделениями и экспертами заказчика. Будет плюсом: опыт работы с архитектурой Data Mesh

Условия

• Удаленный формат работы
• Официальное оформление в аккредитованную IT-компанию (в штат Selecty)
• Гарантированный официальный оклад (обсуждается по итогам собеседования)
• ДМС со стоматологией, начиная с ИС
• Скидки от наших партнеров на изучение иностранных языков, фитнес, кино
• Реферальная программа: бонус за рекомендации