Architekt Hurtowni Danych – Lider Transformacji Danych

B2Bnetwork; Województwo pomorskie; On-site; PLN 240,000 - 360,000; Full time

Job summary

B2Bnetwork poszukuje doświadczonego Architekta Hurtowni Danych do zaprojektowania docelowej architektury nowoczesnej platformy danych oraz wsparcia transformacji technologicznej środowiska Data Warehouse.

Główne zadania to ocena obecnej architektury, przygotowanie High Level Design i rekomendacji technologicznych oraz organizacyjnych. Kandydat będzie prowadził transformację i nadzorował zespół Data Warehouse, rozwijając kompetencje w Data Lakehouse i Spark.

Qualifications

• Projektowanie nowoczesnych platform danych i hurtowni danych.
• Tworzenie architektury Data Lake/Data Lakehouse.
• Definiowanie architektury przetwarzania danych na dużą skalę.

Responsibilities

• Analiza i ocena obecnej architektury hurtowni danych.
• Opracowanie docelowej architektury nowej platformy danych.
• Przygotowanie High-Level Design dla projektowanego rozwiązania.
• Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
• Zaprojektowanie zastąpienia warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
• Analiza, rekomendacja i wybór podejścia z Delta Lake lub Apache Iceberg.
• Zaprojektowanie warstw transformacji i ładowania danych z Apache Spark.
• Określenie wzorców integracji w modelach batch, near-real-time i streaming.
• Opracowanie zasad zarządzania metadami, jakością danych i monitorowaniem procesów.
• Zaprojektowanie CI/CD dla platformy danych.
• Przygotowanie standardów zarządzania kodem źródłowym i testowania.

Skills

Apache Spark

Data Lakehouse

Delta Lake

Apache Iceberg

Hadoop

HDFS

ETL/ELT

HLD/LLD dokumentacja

Data Warehouse

Architektura danych

Tools

Oracle Data Integrator

Job description

B2Bnetwork poszukuje doświadczonego Architekta Hurtowni Danych do zaprojektowania docelowej architektury nowoczesnej platformy danych oraz wsparcia transformacji technologicznej środowiska Data Warehouse.

Główne zadania to ocena obecnej architektury, przygotowanie High Level Design i rekomendacji technologicznych oraz organizacyjnych. Kandydat będzie prowadził transformację i nadzorował zespół Data Warehouse, rozwijając kompetencje w Data Lakehouse i Spark.