Data Platform Engineer - Resilience & Lakehouse

ING Hubs Poland; Warszawa; Vor Ort; PLN 107.000 - 246.000; Vollzeit

Zusammenfassung

ING Hubs Poland ищет опытного инженера данных для разработки и поддержки платформы VISTA Fallback Platform, обеспечивающей устойчивость аналитических рабочих нагрузок. Ваша работа охватит обработку данных, оркестрацию и хранение, используя Spark, Trino и Iceberg, включая репликацию и восстановление данных.

Требуется 4+ лет опыта в инженерии данных либо сопутствующих областях, знание GCP и практики CI/CD, инфраструктуры как кода.

Qualifikationen

• 4+ года опыта в Data Engineering, Platform Engineering, Infrastructure Engineering или SRE.
• Практические знания Spark, DBT, Python, SQL, BigQuery и Trino.
• Опыт работы с Google Cloud Platform и облачными технологиями.
• Опыт CI/CD и практики инфраструктуры как кода.
• Опыт создания современных дата- платформ и распределённых обработок.

Aufgaben

• Проектирование, сборка и поддержка платформы ING Data Analytics Fallback Platform.
• Обеспечение отказоустойчивости и доступности критических рабочих нагрузок.
• Разработка и эксплуатация решений на Spark, Airflow, Iceberg, Trino и объектного хранилища.
• Создание и поддержка процессов обработки данных, оркестрации, хранения и метаданных.
• Реализация репликации, синхронизации и восстановления для важных наборов данных.
• Оптимизация аналитических и пакетных конвейеров на современных облачных технологиях.
• Повышение наблюдаемости платформы через мониторинг и логирование.
• Обеспечение надёжности, безопасности и готовности к эксплуатации.
• Участие в архитектурных решениях, стандартам и дорожной карте.

Kenntnisse

Data Engineering

Platform Engineering

Site Reliability

CI/CD

Automation

Kubernetes

Tools

Apache Spark

DBT

Python

SQL

BigQuery

Trino

Kubernetes

Docker

Linux

Keycloak

Ceph

Ingress / Networking

Jobbeschreibung

ING Hubs Poland ищет опытного инженера данных для разработки и поддержки платформы VISTA Fallback Platform, обеспечивающей устойчивость аналитических рабочих нагрузок. Ваша работа охватит обработку данных, оркестрацию и хранение, используя Spark, Trino и Iceberg, включая репликацию и восстановление данных.

Требуется 4+ лет опыта в инженерии данных либо сопутствующих областях, знание GCP и практики CI/CD, инфраструктуры как кода.