технический лидер хранилищ данных

Datanomica; United States; Hybrid; USD 120,000 - 180,000; Full time

Benefits offered by this job

Обучение за счёт компании

Современное оборудование

Job summary

Датаномика в настоящее время ищет технико‑лида DWH для проекта в крупном банковском холдинге. Ваша задача — анализ требований бизнеса, проектирование решений и развитие витрины данных с использованием Greenplum, Airflow и Spark.

Вы будете формализовать требования, управлять данными и координировать разработчиков на сложных задачах. Кандидат имеет опыт работы с большими данными, знание SQL и инструментов ETL, а также умение работать в банковской предметной области и в рамках Data Governance.

Qualifications

• Опыт работы с реляционными и нереляционными СУБД (GreenPlum, BDP/S3).
• Знание SQL: на уровне сложных запросов, оконные функции, проектирование БД.
• Опыт ETL‑инструментов (Apache Airflow, Spark).
• Опыт сбора, анализа и формализации бизнес‑требований заказчика.
• Опыт интеграционных задач и архитектурных стандартов разработки.
• Опыт в банковских продуктах и Data Governance; работа с большими данными.
• Навыки работы в Jira и Confluence; умение вести переговоры.
• Плюсом: знание Apache Iceberg и Apache Kafka.

Responsibilities

• Анализ требований бизнеса и управление данными (Data Governance).
• Проектирование и выстраивание новых бизнес‑процессов и витрин данных.
• Создание ETL‑прототипов витрин данных и доработка существующих.
• Постановка задач разработчикам и контроль исполнения.
• Проектирование архитектурных Vision/OTAP, документирование (FSD, ER‑диаграммы).
• Поддержка отчётности и решение инцидентов по данным.
• Участие в создании и развитии стандартов аналитиков и задач в Jira.

Skills

SQL продвинутый

Аналитика и владение данными

Навыки коммуникации

Tools

Greenplum

BDP/S3

Apache Airflow

Spark

Git

JIRA

Confluence

Apache Iceberg

Apache Kafka

Job description

Описание: Мы ООО «Датаномика», собираем инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развиваем шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания. Сейчас у нас открыта вакансия Тех.лида DWH на проект в крупный Российский банк.

Задачи

• Анализом и оценкой требований бизнеса (Управление данными / Data Governance)
• Анализом существующих и выстраиванием новых бизнес‑процессов
• Созданием ETL‑прототипов витрин данных и доработкой существующих
• Постановкой задач на разработчика
• Проектированием решений, разработкой прототипов, тестированием разработанного функционала, написанием проектной документации (FSD, ER‑диаграммы, логической модели объектов, созданием и согласованием архитектурных Vision/OTAP, заполнением датакаталога)
• Проработкой WA при сбоях
• Анализом и выработкой решений по поддержке отчётности при изменении внешних данных систем‑источников
• Поддержкой разработанных решений в качестве 3‑й линии поддержки, ad‑hoc выгрузки
• Разработкой тест‑кейсов и проведением внутреннего и интеграционного тестирования со смежными системами‑потребниками данных витрины, подготовкой синтетических данных для тестирования
• Заключением SLA с системами‑поставщиками данных и заказчиком, созданием контролей качества данных, разбором инцидентов КД, проработкой мероприятий по минимизации инцидентов
• Поддержкой актуальности проектных задач в Jira
• Контролем за выполнением работ и приёмкой функционала от поставщиков
• Участием в создании и развитии стандартов и продуктов работы аналитиков департамента
• Наставничеством и ревью в рамках своего направления

Требования

• Опыт работы с реляционными и нереляционными СУБД (предпочтительно GreenPlum, BDP/S3)
• Знание SQL — на уровне написания сложных запросов, знание оконных функций и теории проектирования реляционных БД, навыки чтения чужого многоярусного кода, опыт оптимизации кода
• Знание ETL‑инструментов (Apache Airflow, Spark)
• Понимание работы Управляющего механизма и подписок на загрузки источников данных
• Опыт сбора, анализа, декомпозиции и формализации бизнес‑требований заказчика
• Опыт работы с интеграционными задачами
• Знание архитектурных стандартов и стандартов разработки
• Опыт участия в проектах по разработке и внедрению прикладных информационных систем
• Умение работать с большими объёмами данных
• Опыт работы в Atlassian JIRA и Confluence
• Понимание банковских продуктов и процессов, принципов Data Governance
• Опыт разбора расхождений ККД и инцидентов на данные
• Умение разобраться в любой lineage‑цепочке данных по слоям, а также переливки данных между системами
• Опыт работы с git или другой системой контроля версий
• Самостоятельность и проактивность, умение чётко планировать своё рабочее время, выполнять поставленные задачи в установленные сроки
• Навык по ведению переговоров, умение вести аргументированные диалоги с членами команды
• Анализ существующих и выстраивание новых бизнес‑процессов
• Будет плюсом: Знание Apache Iceberg, Apache Kafka будет плюсом

Условия

• Удаленный или гибридный формат работы
• Работа в аккредитованной ИТ-компании
• Проекты в крупнейших банках и корпорациях — реальная нагрузка и масштаб (mission-critical системы, высоконагруженная обработка данных)
• Регулярное обучение и профильные конференции за счёт компании, современное оборудование
• Официальная «белая» зарплата, оформление с первого рабочего дня, полное соблюдение ТК РФ
• Интересные амбициозные задачи с достижимым результатом