Data Platform Architect

Ailleron; Kraków; A distancia; PLN 260.000 - 420.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Private medical care

Life insurance

Multisport card

Języki angielski/niemiecki

Szkolenia zewnętrzne i wewnętrzne

80 h na samorozwój

Programy wellbeingowe

Descripción de la vacante

Ailleron poszukuje doświadczonego specjalisty Data Platform, który zaprojektuje i rozwinie architekturę platformy danych dla bankowych projektów. Doświadczenie w projektowaniu systemów event-driven, stream processing i integracjach z chmurą będzie kluczowe.

Wymagane jest zaawansowane podejście do Data Lake/Lakehouse, CDC (Debezium) oraz modelowania danych w SQL/NoSQL. Praca z Kubernetes/OpenShift i środowiskami hybrydowymi, on-prem oraz w chmurach publicznych umożliwia elastyczne podejście

Formación

• Wymagane praktyczne doświadczenie w projektowaniu platform danych klasy enterprise.
• Bardzo dobra znajomość Apache Kafka lub Confluent Platform.
• Doświadczenie w architekturze event-driven i stream processing.
• Doświadczenie z Javą.
• Doświadczenie z CDC (Debezium lub równoważne).
• Znajomość Data Lake / Lakehouse i przetwarzania streamingowego i batchowego.
• Znajomość SQL i NoSQL oraz modelowania danych.
• Doświadczenie z systemami HA, skalowalnością i dużymi wolumenami danych.
• Doświadczenie z Kubernetes/OpenShift oraz projektowaniem w środowiskach on-prem, chmurowych i hybrydowych.
• Praktyczne projektowanie Data Platform w co najmniej jednej chmurze publicznej; wiedza o usługach przechowywania danych, batch i streaming, bezpieczeństwie i optymalizacji kosztów.
• Umiejętność prowadzenia dyskusji technicznych z klientem i podejmowania decyzji architektonicznych.
• Podstawowa znajomość koncepcji Feature Store i przepływu danych do modeli ML
• Bardzo dobra komunikacja na styku architektura, engineering, infrastruktura i biznes.

Responsabilidades

• Opracowanie i rozwój docelowej architektury Data Platform.
• Projektowanie Data Platform w chmurze i w modelu hybrid, integracja z systemami on-prem i doboru usług zarządzanych.
• Projektowanie integracji i przepływów danych pomiędzy systemami bankowymi a platformą.
• Projektowanie rozwiązań event-driven, streamingowych i batchowych.
• Dobór technologii z uwzględnieniem wydajności, HA, skalowalności oraz kosztów.
• Uwzględnienie w architekturze chmurowej kontroli dostępu, łączności prywatnej, szyfrowania, lokalizacji danych, odtwarzania po awarii oraz kosztów przechowywania i transferu danych.
• Projektowanie warstw ingestu, ODS, Data Lake / Lakehouse oraz warstwy analitycznej.
• Prowadzenie warsztatów technicznych z klientem i uzasadnianie decyzji architektonicznych.
• Współpraca z Data Engineering, Java, DevOps, analitykami i architektami klienta.
• Przygotowanie oraz utrzymanie dokumentacji architektonicznej i decyzji technicznych.

Conocimientos

Enterprise data platform design

Event-driven architecture

Stream processing

Java

CDC technologies (Debezium)

Data Lake / Lakehouse

SQL/NoSQL data modeling

HA and scalability

Kubernetes/OpenShift

Cloud platforms (public)

Feature Store concepts

Client discussions / architectural buy

Herramientas

Kafka/Confluent Platform

Kubernetes/OpenShift

Descripción del empleo

Nasze wymagania:

• Praktyczne doświadczenie w projektowaniu platform danych klasy enterprise.
• Bardzo dobra znajomość Apache Kafka lub Confluent Platform.
• Doświadczenie w architekturze event-driven i stream processing.
• Doświadczenie z języka Java
• Doświadczenie z mechanizmami CDC, w szczególności Debezium lub rozwiązaniami porównywalnymi.
• Znajomość architektury Data Lake / Lakehouse oraz przetwarzania streamingowego i batchowego.
• Znajomość baz SQL i NoSQL oraz zasad modelowania i udostępniania danych.
• Doświadczenie z systemami HA, skalowalnością i dużymi wolumenami danych.
• Doświadczenie z Kubernetes / OpenShift oraz projektowaniem rozwiązań w środowiskach on-prem, chmurowych i hybrydowych.
• Praktyczne doświadczenie w projektowaniu lub wdrażaniu Data Platform w co najmniej jednej chmurze publicznej; znajomość usług przechowywania danych, przetwarzania batch i streaming oraz analityki, a także zasad bezpieczeństwa i optymalizacji kosztów.
• Umiejętność prowadzenia dyskusji technicznej z klientem i podejmowania decyzji architektonicznych.
• Podstawowa znajomość koncepcji Feature Store i przepływu danych do modeli ML
• Bardzo dobra komunikacja na styku architektura, engineering, infrastruktura i biznes.

Mile widziane:

• Confluent Platform, ksqlDB, Debezium, Apache Spark, Trino.
• Apache Iceberg / Polaris oraz storage S3-compatible w środowisku on-prem, np. MinIO, Ceph lub Dell ECS.
• Bazy ODS
• OpenShift, Prometheus, Grafana i OpenTelemetry.
• Usługi danych co najmniej jednego dostawcy chmury, np. AWS (Amazon S3, Amazon Redshift), Azure (Azure Data Lake Storage, Azure Data Factory) lub Google Cloud (BigQuery, Dataflow, Pub/Sub).
• Doświadczenie w sektorze bankowym lub finansowym.
• Znajomość wymogów DORA (operational resilience, outsourcing), GDPR w kontekście danych finansowych, podstaw Rekomendacji D/M KNF

O projekcie:

Rozwój Data Platform dla Klientów z branży bankowej.

Zakres obowiązków:

• Opracowanie i rozwój docelowej architektury Data Platform.
• Projektowanie Data Platform w chmurze i modelu hybrydowym, w tym integracji z systemami on-prem oraz doboru usług zarządzanych i komponentów utrzymywanych samodzielnie.
• Projektowanie integracji i przepływów danych pomiędzy systemami bankowymi, a platformą.
• Projektowanie rozwiązań event-driven, streamingowych i batchowych.
• Dobór technologii i wzorców z uwzględnieniem wydajności, HA, skalowalności, bezpieczeństwa i kosztów.
• Uwzględnianie w architekturze chmurowej kontroli dostępu, łączności prywatnej, szyfrowania, lokalizacji danych, odtwarzania po awarii oraz kosztów przechowywania, przetwarzania i transferu danych.
• Projektowanie warstw ingestu, ODS, Data Lake / Lakehouse oraz warstwy analitycznej.
• Prowadzenie warsztatów technicznych z klientem i uzasadnianie decyzji architektonicznych.
• Współpraca z Data Engineering, Java, DevOps, analitykami i architektami klienta.
• Przygotowanie oraz utrzymanie dokumentacji architektonicznej i decyzji technicznych.

Oferujemy:

• Możliwość pracy zdalnej.
• Prywatną opiekę medyczną, ubezpieczenie na życie, kartę Multisport.
• Zajęcia z języka angielskiego/ niemieckiego.
• Szkolenia zewnętrzne i wewnętrzne.
• 80 h na samorozwój.
• Programy wellbeingowe i inicjatywy integracyjne.