Дата-инженер: Архитектор ETL и DWH

HireHi; United States; Remote; USD 110,000 - 170,000; Full time

Benefits offered by this job

Расширенная медицинская страховка

Страхование за рубежом

Страхование от несчастных случаев

Лечение критических заболеваний

Стоматология и коррекция зрения

Онлайн-консультации с психологами

Психотерапия в офисах

Ежегодные чекапы и вакцинация

30 дней больничного с сохранением зарп

Оплата ведения беременности и роды

ДМС для детей и супругов 80/20

Job summary

HireHi ищет специалиста по данным для команды DWH. Ваша задача — проектировать и реализовывать ETL-процессы, обеспечивать качество данных и развивать инструменты обработки данных. Требуется уверенное владение Python, SQL и знание архитектуры БД, а также опыт с CI/CD и Git.

Будет преимущество знание Hadoop, Spark и Hive, а также практический опыт работы с ETL/ELT и современными фреймворками обработки потоков данных. Готовность к исследованию новых технологий приветствуются.

Qualifications

• Надёжное владение Python и разработка ETL-пайплайнов
• Уверенное знание SQL и реляционных/уникальных БД
• Понимание классических алгоритмов и структур данных
• Опыт работы с CI/CD, Git и настройкой пайплайнов
• Опыт работы с Hadoop/Spark/Hive приветствуется

Responsibilities

• Проектирование, реализация и оптимизация сложных ETL-процессов
• Обеспечение стабильности и качества существующих решений
• Автоматизация процессов, устранение устаревших компонентов
• Исследование и пилотирование новых технологий и подходов
• Развитие инструментов для обработки данных, включая ETL-фреймворк

Skills

Python

Алгоритмы

Структуры данных

SQL

CI/CD

Git

Tools

Hadoop

Spark

Hive

Luigi

Airflow

Jupyter

Pandas

SciPy

Matplotlib

Bokeh

Job description

HireHi ищет специалиста по данным для команды DWH. Ваша задача — проектировать и реализовывать ETL-процессы, обеспечивать качество данных и развивать инструменты обработки данных. Требуется уверенное владение Python, SQL и знание архитектуры БД, а также опыт с CI/CD и Git.

Будет преимущество знание Hadoop, Spark и Hive, а также практический опыт работы с ETL/ELT и современными фреймворками обработки потоков данных. Готовность к исследованию новых технологий приветствуются.