Architekt Hurtowni Danych / Data Platform Architect

B2B Network; Województwo pomorskie; On-site; PLN 180,000 - 280,000; Full time

Job summary

B2B Network poszukuje doświadczonego Architekta Hurtowni Danych do zaprojektowania docelowej architektury nowoczesnej platformy danych i wsparcia programu transformacji technologicznej obecnego środowiska. Doświadczenie w Data Lake/DL oraz Spark będzie kluczowe.

Wymagane jest doświadczenie w projektowaniu architektury na dużą skalę, ETL/ELT oraz przygotowaniu dokumentacji HLD/LLD. Lider zespołu i mentor mogą liczyć na współpracę w dynamicznym środowisku.

Qualifications

• Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych.
• Praktyczne doświadczenie w tworzeniu architektury Data Lake oraz Data Lakehouse.
• Bardzo dobra znajomość Apache Spark w Data Engineering.
• Praktyczna znajomość Apache Hadoop i HDFS.
• Doświadczenie z Delta Lake lub Apache Iceberg.
• Umiejętność definiowania architektury przetwarzania danych na dużą skalę.
• Doświadczenie w projektowaniu procesów ETL/ELT.
• Umiejętność przygotowywania dokumentacji architektonicznej HLD i LLD.
• Doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse.

Responsibilities

• Analiza i ocena obecnej architektury hurtowni danych.
• Opracowanie docelowej architektury nowoczesnej platformy danych.
• Przygotowanie High-Level Design dla projektowanego rozwiązania.
• Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
• Zaprojektowanie zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
• Analiza, rekomendacja i wybór podejścia wykorzystującego Delta Lake lub Apache Iceberg.
• Zaprojektowanie warstw transformacji, przetwarzania i ładowania danych z wykorzystaniem Apache Spark.
• Określenie wzorców integracji i przetwarzania danych w modelach batch, near-real-time oraz streaming.
• Opracowanie zasad zarządzania metadanymi, jakością danych oraz monitorowania procesów.
• Zaprojektowanie procesów CI/CD dla platformy danych.
• Przygotowanie standardów zarządzania kodem źródłowym i testowania rozwiązań danych.
• Rekomendowanie narzędzi wspierających automatyzację wdrożeń.
• Opracowanie standardów utrzymania i dalszego rozwoju hurtowni danych w nowej architekturze.
• Pełnienie funkcji lidera technicznego programu transformacji.
• Wsparcie zespołu projektowego w podejmowaniu decyzji architektonicznych.
• Mentoring i transfer wiedzy do obecnego zespołu.
• Rozwijanie kompetencji zespołu w zakresie Hadoop, Data Lakehouse, Apache Spark.

Skills

Data architecture

ETL/ELT design

Leadership / mentoring

CI/CD for data platform

Data governance & metadata

Tools

Apache Spark

Apache Hadoop

HDFS

Delta Lake

Apache Iceberg

Oracle Data Integrator

Job description

Opis stanowiska

Poszukujemy doświadczonego Architekta Hurtowni Danych, który będzie odpowiedzialny za zaprojektowanie docelowej architektury nowoczesnej platformy danych oraz wsparcie programu transformacji technologicznej obecnego środowiska Data Warehouse.

Głównym celem początkowego etapu współpracy będzie przeprowadzenie oceny obecnej architektury, opracowanie dokumentu High Level Design oraz przygotowanie rekomendacji technologicznych, organizacyjnych i kompetencyjnych.

Wymagania

• Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych.
• Praktyczne doświadczenie w tworzeniu architektury Data Lake oraz Data Lakehouse.
• Bardzo dobra znajomość Apache Spark w obszarze Data Engineering.
• Praktyczna znajomość Apache Hadoop i HDFS.
• Doświadczenie z Delta Lake lub Apache Iceberg.
• Umiejętność definiowania architektury przetwarzania danych na dużą skalę.
• Doświadczenie w projektowaniu procesów ETL/ELT.
• Umiejętność przygotowywania dokumentacji architektonicznej HLD i LLD.
• Doświadczenie w prowadzeniu transformacji technologicznych zespołów Data Warehouse.

Zakres obowiązków

• Analiza i ocena obecnej architektury hurtowni danych.
• Opracowanie docelowej architektury nowoczesnej platformy danych.
• Przygotowanie High-Level Design dla projektowanego rozwiązania.
• Opracowanie koncepcji wyeliminowania Oracle Data Integrator.
• Zaprojektowanie zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym na Apache HDFS.
• Analiza, rekomendacja i wybór podejścia wykorzystującego Delta Lake lub Apache Iceberg.
• Zaprojektowanie warstw transformacji, przetwarzania i ładowania danych z wykorzystaniem Apache Spark.
• Określenie wzorców integracji i przetwarzania danych w modelach batch, near-real-time oraz streaming.
• Opracowanie zasad zarządzania metadanymi, jakością danych oraz monitorowania procesów.
• Zaprojektowanie procesów CI/CD dla platformy danych.
• Przygotowanie standardów zarządzania kodem źródłowym i testowania rozwiązań danych.
• Rekomendowanie narzędzi wspierających automatyzację wdrożeń.
• Opracowanie standardów utrzymania i dalszego rozwoju hurtowni danych w nowej architekturze.
• Pełnienie funkcji lidera technicznego programu transformacji.
• Wsparcie zespołu projektowego w podejmowaniu decyzji architektonicznych.
• Mentoring i transfer wiedzy do obecnego zespołu.
• Rozwijanie kompetencji zespołu w zakresie Hadoop, Data Lakehouse, Apache Spark oraz nowoczesnych praktyk Data Engineering.

Kluczowe rezultaty pierwszego etapu współpracy

• Assessment obecnej architektury.
• Dokument HLD docelowej architektury.
• Roadmapa transformacji technologicznej.
• Rekomendacje technologiczne wraz z uzasadnieniem.
• Koncepcja CI/CD oraz standardów wytwarzania.
• Rekomendacje kompetencyjne dla zespołu i plan transferu wiedzy.