Data Platform Engineer - Cloud & Data Lake

Macquarie Group; Greater London; Hybrid; GBP 90,000 - 120,000; Full time

Benefits offered by this job

Wellbeing leave

Parental leave (26 weeks)

Fertility leave

Volunteer leave and matching

Salary sacrifice options

Medical and life insurance

Employee Assistance Program

Learning & development

Home office equipment reimbursement

Flexible working

Job summary

Macquarie Group ищет специалиста по данным в команду Data Services. Ваша задача — проектировать и строить масштабную облачную платформу данных, управлять Data Lake и обеспечивать безопасные, масштабируемые окружения.

Будете работать с AWS S3, Airflow, Trino, Parquet и Redshift, оптимизируя запросы на триллионные объёмы. Проживание в гибридном формате и возможность влиять на стратегию компании.

Qualifications

• Сильный бэкграунд в Data, DevOps и инженерии, решение задач по данным и автоматизации.
• Опыт создания CI/CD пайплайнов в Data space и облачной инфраструктуре.
• Хорошее понимание современных Data Platforms, баз данных, Data Lakes, Data Warehouses и Query Engines.
• Опыт программирования на Python или работа с любыми облачными технологиями (AWS предпочтительно).
• Хорошее понимание Hosting Platform Linux/Unix.
• Будет плюсом опыт работы с EKS и контейнерами.

Responsibilities

• Проектирование, сборка и оптимизация облачной платформы данных масштаба петабайт на базе современных технологий.
• Управление и расширение Data Lake и безопасной, масштабируемой средой для наших Data Platform.
• Использование облачных технологий и инструментов AWS: S3, EKS, Glue, Airflow, Trino, Parquet, с возможной подготовкой Iceberg.
• Решение задач по высоким нагрузкам и чтению крупных объёмов данных (600+ миллиардов строк в Redshift).
• Прямая работа в составе команды и вклад в стратегию компании, работа над разнообразными проектами.

Skills

Data engineering

DevOps

Python

SQL

AWS

Linux/Unix

Container experience

Tools

Airflow

Trino

Parquet

Redshift

Glue

AWS S3

EKS

Job description

Macquarie Group ищет специалиста по данным в команду Data Services. Ваша задача — проектировать и строить масштабную облачную платформу данных, управлять Data Lake и обеспечивать безопасные, масштабируемые окружения.

Будете работать с AWS S3, Airflow, Trino, Parquet и Redshift, оптимизируя запросы на триллионные объёмы. Проживание в гибридном формате и возможность влиять на стратегию компании.