дата инженер витрин данных

HireHi; United States; Hybrid; USD 24.000 - 38.000; Vollzeit

Benefits dieser Stelle

Гибридный формат или удалённая работа

ИТ-хаб в Москве

ДМС, стоматология, страхование, больн.

Zusammenfassung

HireHi приглашает опытного технического лидера в команду разработки платформ BigData. Ваша роль — управлять командой дата-инженеров, руководить архитектурными решениями по витринам данных и ETL-процессам, формировать бэклог совместно с проджект-менеджерами и наставлять коллег.

Требуется знание Spark и Hive/Iceberg, а также Python или Scala. Ожидается активное участие в тестировании, документации и взаимодействии с заказчиками.

Qualifikationen

• Опыт разработки ПО не менее 6 лет.
• Опыт работы со стеком BigData от 3 лет.
• Опыт на руководящей технической позиции от 1 года.
• Отличное знание Spark и Hive/Iceberg.
• Умение SQL с вложенными запросами и сводными таблицами.
• Умение писать на Python или Scala, работа в Linux.

Aufgaben

• Управлять техническими аспектами работы команды дата-инженеров.
• Реализовывать витрины данных и ETL-процессы.
• Управлять бэклогом и ожиданиями заказчиков вместе с PM.
• Лидировать команду по технике и процессам.
• Наставлять команду и развивать стандарты и документацию.
• Консультировать по эксплуатации ПО и взаимодействовать с заказчиками.
• Помогать сопровождению стабилизировать работу в продакшене.
• Разрабатывать решения и документацию совместно с командой.
• Участвовать в тестировании и планировании работ.

Kenntnisse

BigData стек

Apache Spark

Apache Hive

Apache Iceberg

Apache Airflow

Python

SQL

Linux CLI

Kubernetes

Kafka

Tools

Hadoop

Docker

REST API

Git

Jobbeschreibung

Описание

Команда разработки платформ BigData работает над миграцией хранилища данных с Hadoop-Hive-Oozie на MinIO-Iceberg-Airflow.

Задачи

• Управлять техническими аспектами работы команды дата-инженеров
• Реализовывать витрины данных и процессы ETL для доставки данных
• Управлять бэклогом команды и ожиданиями заказчиков совместно с проджект-менеджерами
• Лидировать команду по техническим и процессным вопросам
• Наставлять команду и участвовать в разработке стандартов, методологий и документации
• Консультировать сопровождение системы, смежные подразделения и заказчиков по работе программного обеспечения
• Помогать команде сопровождения стабилизировать работу программного обеспечения в промышленной среде
• Разрабатывать решения и документацию вместе с командой
• Участвовать в тестировании
• Управлять работами команды совместно с проджект-менеджером и главным техническим лидом

Требования

• Опыт разработки программного обеспечения от 6 лет
• Опыт работы со стеком BigData от 3 лет
• Опыт работы на руководящей технической позиции от 1 года
• Отличное знание Apache Spark и опыт работы с ним
• Отличное знание Apache Hive или Apache Iceberg и опыт работы с ними
• Хорошее знание Apache Airflow и опыт работы с ним
• Владение SQL, включая вложенные запросы и сводные таблицы, и опыт работы с данными
• Владение Python или Scala и опыт работы с ними
• Умение работать с командной строкой Linux
• Знание форматов XML, JSON, Parquet и ORC
• Начальное знание других языков программирования, например Scala, Python, C или Java
• Опыт формализации требований и проектирования сложных процессов ETL для витрин данных
• Умение применять основные диаграммы UML
• Хорошее понимание реляционных СУБД
• Хорошее знание способов интеграции систем
• Базовое знание Kafka или RabbitMQ, Greenplum, REST API, Docker или Kubernetes
• Навыки управления командой, делегирования, мотивации и наставничества
• Умение декомпозировать задачи и расставлять приоритеты
• Умение понятно объяснять сложное и кратко общаться с коллегами
• Умение внимательно слушать собеседников
• Умение писать понятную документацию

Условия

• Квартальная премия по результатам KPI
• Гибридный формат или удалённая работа
• Доступен ИТ-хаб в Москве
• Программа ДМС с первых дней работы, стоматология, обслуживание в клиниках, страхование и компенсация 10 дней больничного
• Возможность вертикального и горизонтального карьерного роста
• Тренинги, вебинары, митапы и демо-дни
• Оплата профильных конференций и курсов
• Помощь в подготовке к публичным выступлениям и написанию статей на Хабр
• Доступ к корпоративным библиотекам Alpina Digital и MyBook, а также бизнес-изданиям
• Спортзалы для сотрудников в Москве, Санкт-Петербурге и Екатеринбурге
• Скидки на услуги туристических агентств, продукты питания, рестораны, бары и магазины