data engineer корпоративного DWH

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Удалённая работа

Job summary

HireHi ищет специалиста по разработке и развитию корпоративного хранилища данных: проектирует потоки данных, строит витрины и архитектуру DWH, работает с ETL/ELT-инструментами.

Требуется уверенное знание SQL, PL/pgSQL, Hadoop экосистемы (HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume), опыт работы с Greenplum или PostgreSQL, и ETL-инструментами SAS DI Studio и Informatica PowerCenter. Удалённая работа.

Qualifications

• Знание принципов построения хранилищ данных и архитектуры DWH.
• Понимание принципов работы MPP-систем.
• Практический опыт работы с экосистемой Hadoop: HDFS, YARN, Apache Spark, Apache Kafka, Apache NiFi, Sqoop, Flume.
• Уверенное знание SQL, включая DDL и DML.
• Опыт анализа и оптимизации сложных SQL-запросов.
• Опыт разработки на PL/pgSQL.
• Практический опыт работы с Greenplum или PostgreSQL.
• Опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter.
• Понимание процессов проектирования потоков, преобразования и загрузки данных.
• Опыт сопровождения и мониторинга информационных систем.
• Навыки ведения проектной и технической документации.
• Опыт работы с Git, Jira и Confluence.
• Будет плюсом опыт проектирования высоконагруженных хранилищ данных и масштабирования MPP- и Hadoop-систем.

Responsibilities

• Проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов
• Разрабатывать программный код и проводить его тестирование
• Реализовывать кастомные трансформации данных
• Проектировать и создавать прототипы и витрины данных
• Разрабатывать процедуры на языке PL/pgSQL
• Проводить анализ производительности существующих систем
• Оптимизировать SQL-запросы и структуры баз данных
• Участвовать в масштабировании и повышении производительности систем
• Развивать архитектуру DWH
• Анализировать и выбирать оптимальные технологии, инструменты и методологии
• Создавать и актуализировать базу знаний для пользователей хранилища данных
• Сопровождать и мониторить информационные системы в своей зоне ответственности.

Skills

DWH architecture

MPP systems

SQL optimization

PL/pgSQL

Git/Jira/Confluence

Tools

HDFS

YARN

Apache Spark

Apache Kafka

Apache NiFi

Sqoop

Flume

Greenplum

PostgreSQL

SAS DI Studio

Informatica PowerCenter

Job description

Описание:

Компания занимается подбором персонала, IT-аутстаффингом и рекрутментом. Вакансия связана с разработкой и развитием корпоративного хранилища данных, потоков данных, витрин и архитектуры DWH.

Задачи:

• Проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов
• Разрабатывать программный код и проводить его тестирование
• Реализовывать кастомные трансформации данных
• Проектировать и создавать прототипы и витрины данных
• Разрабатывать процедуры на языке PL/pgSQL
• Проводить анализ производительности существующих систем
• Оптимизировать SQL-запросы и структуры баз данных
• Участвовать в масштабировании и повышении производительности систем
• Развивать архитектуру DWH
• Анализировать и выбирать оптимальные технологии, инструменты и методологии
• Создавать и актуализировать базу знаний для пользователей хранилища данных
• Сопровождать и мониторить информационные системы в своей зоне ответственности.

Требования:

• Знание принципов построения хранилищ данных и архитектуры DWH
• Понимание принципов работы MPP-систем
• Практический опыт работы с экосистемой Hadoop: HDFS, YARN, Apache Spark, Apache Kafka, Apache NiFi, Sqoop, Flume
• Уверенное знание SQL, включая DDL и DML
• Опыт анализа и оптимизации сложных SQL-запросов
• Опыт разработки на PL/pgSQL
• Практический опыт работы с Greenplum или отличное знание PostgreSQL
• Опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter
• Понимание процессов проектирования потоков, преобразования и загрузки данных
• Опыт сопровождения и мониторинга информационных систем
• Навыки ведения проектной и технической документации
• Опыт работы с Git, Jira и Confluence
• Будет плюсом опыт проектирования высоконагруженных хранилищ данных, опыт масштабирования MPP- и Hadoop-систем, участие в проектах по развитию крупных корпоративных DWH, опыт построения сложных ETL/ELT-процессов и витрин данных.

Условия:

• Удалённая работа.