DWH-разработчик корпоративного хранилища данных

NDA; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

NDA в США ищет специалиста по интеграци-онным решениям для разработки витрин данных и систем корпоративного хранилища. Требуется опыт проектирования ETL и больших данных, работа с Oracle Exadata, Greenplum, Hadoop и ClickHouse, знание Hive/Sqoop/Impala/PySpark, ODI/Airflow и dbt.

Обязательно понимание архитектуры распределённых систем и тестирования ETL. Это долгосрочный проект, работа предполагается на базе крупных СУБД и современных технологий обработки данных.

Qualifications

• Иметь высшее образование в ИТ.
• Знать принципы проектирования и разработки хранилищ данных и ETL-процессов.
• Опыт работы с большими объёмами данных.
• Понимать архитектуру Hadoop; иметь опыт Hive, Sqoop, Impala, PySpark.
• Опыт 3+ лет в интеграционных проектах для Oracle Exadata и Greenplum с ODI или Airflow и dbt.
• Опыт проектирования распределённых высоконагруженных систем.
• Понимать тестирование ETL и проектирование витрин BI.
• Знать ClickHouse и его движки; работать с Oracle Exadata, Greenplum и Hadoop.
• Знать SQL; опыт pg/SQL и PL/SQL.
• Иметь сертификаты по Greenplum и ClickHouse.

Responsibilities

• Внедрять новые продукты и технологии, связанные с интеграционными решениями.
• Разрабатывать интеграционные решения для корпоративного хранилища данных и механизмы интеграции данных внешних систем.
• Участвовать в комплексном тестировании интеграционных решений.
• Разрабатывать витрины данных в хранилищах Oracle Exadata, Greenplum и Hadoop.
• Разрабатывать и развивать слой данных для BI-систем.

Skills

ETL принципы разработки

Проектирование хранилищ данных

Опыт работы с большими данными

Тестирование ETL

Распределённые системы

Education

Высшее образование в области ИТ

Tools

Oracle Exadata

Greenplum

Hadoop

Hive

Sqoop

Impala

PySpark

Oracle Data Integrator

Airflow

dbt

ClickHouse

Job description

Описание:

Описания нет

Задачи:

• Внедрять новые продукты и технологии, связанные с интеграционными решениями
• Разрабатывать интеграционные решения корпоративного хранилища данных и механизмы интеграции данных внешних систем в единое информационное пространство
• Участвовать в комплексном тестировании интеграционных решений
• Разрабатывать витрины данных в хранилищах Oracle Exadata, Greenplum и Hadoop
• Разрабатывать и развивать слой данных для BI-систем

Требования:

• Иметь высшее образование в области ИТ
• Знать принципы проектирования и разработки хранилищ данных и ETL-процессов
• Иметь опыт работы с большими объёмами данных
• Понимать архитектуру Hadoop и иметь опыт использования Hive, Sqoop, Impala и PySpark
• Иметь опыт от 3 лет в проектировании и разработке интеграционных решений для промышленных СУБД Oracle Exadata и Greenplum с использованием Oracle Data Integrator или Airflow и dbt
• Иметь опыт проектирования распределённых высоконагруженных систем
• Понимать подходы к тестированию ETL
• Понимать принципы проектирования витрин данных BI
• Иметь опыт планирования и оценки сроков работ
• Знать архитектуру ClickHouse, его движки и индексы
• Иметь опыт разработки и оптимизации решений в ClickHouse
• Иметь опыт проектирования и разработки решений на базе ClickHouse в связке с промышленными СУБД Oracle Exadata и Greenplum, а также Hadoop
• Знать SQL и иметь опыт разработки на pg/SQL и PL/SQL
• Иметь сертификаты по разработке в Greenplum и ClickHouse

Условия:

Долгосрочный проект