Архитектор данных платформы Data Lakehouse

Athena AB Group; United States; Remote; USD 150,000 - 210,000; Full time

Job summary

Athena AB Group ищет опытного Архитектора данных для участия в масштабном проекте по построению современной платформы Data Lakehouse. Ваша роль будет заключаться в проектировании архитектуры, внедрении CDC процессов и миграции данных в Data Lakehouse.

Требуется опыт работы с Apache Spark, Airflow, Hive, Kubernetes и S3, а также знание современных подходов к обработке больших данных. Работа удаленная и международная в рамках крупного банковского IT-проекта.

Qualifications

• Опыт проектирования корпоративных Data Lake/Data Lakehouse.
• Наличие портфолио успешных внедрений.
• Знание CDC, ETL/ELT, MPP.
• Понимание распределённых систем.
• Опыт миграции больших объёмов данных.
• Опыт работы с Spark/Airflow/Hive/K8s/S3.
• Знание современных подходов к хранению и обработке больших данных.

Responsibilities

• Проектирование архитектуры Data Lakehouse.
• Проектирование и внедрение CDC процессов.
• Миграция RAW слоя и витрин.
• Проектирование слоёв хранения RAW, Data Marts и Sandbox.
• Обеспечение качества, безопасности и масштабируемости данных.
• Разработка архитектурной и технической документации.

Skills

Data Lakehouse architecture

CDC implementation

Big data processing

Distributed systems

Cross-platform migration

Tools

Apache Spark

Apache Airflow

Apache Hive

Kubernetes

Amazon S3

Job description

Описание: Athena AB Group ищет опытного Архитектора данных для участия в масштабном проекте по построению современной платформы Data Lakehouse.

Задачи

• Проектирование архитектуры Data Lakehouse.
• Проектирование и внедрение CDC-процессов (до 30 потоков).
• Миграция RAW-слоя и витрин данных в Data Lakehouse.
• Проектирование слоёв хранения RAW, Data Marts и Sandbox.
• Обеспечение качества, безопасности и масштабируемости данных.
• Разработка архитектурной и технической документации.

Требования

• Опыт проектирования корпоративных платформ Data Lake / Data Lakehouse.
• Наличие портфолио (успешные кексы внедрения платформ Data Lake / Data Lakehouse).
• Знание принципов работы CDC, ETL/ELT, MPP.
• Понимание архитектуры распределённых систем.
• Опыт кросс-платформенной миграции больших объёмов данных.
• Опыт работы с Apache Spark, Apache Airflow, Apache Hive, K8s, Amazon S3.
• Знание современных подходов к хранению и обработке больших данных.

Условия

• Участие в масштабном международном банковском IT-проекте.
• Полностью удалённый формат работы.
• Работу с современными технологиями Big Data.
• Конкурентное вознаграждение по результатам собеседования.