Data Platform Architect (K/M/N)

BCF Software Sp. z o.o.; Warszawa; On-site; PLN 240,000 - 420,000; Full time

Job summary

BCF Software Sp. z o.o. poszukuje Architekta Hurtowni Danych/Architekta Platformy Danych, który zaprojektuje docelową architekturę platformy danych i przygotuje HLD oraz roadmapę transformacji.

Projekt obejmie modernizację środowiska Data Warehouse w kierunku Data Lake / Lakehouse z użyciem Apache Spark, Hadoop/HDFS oraz Delta Lake lub Apache Iceberg. Rola łączy odpowiedzialności architektoniczne z funkcją Technical Leada, oferując możliwość mentoringu zespołów Data Engineering i transferu

Qualifications

• Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych.
• Doświadczenie w projektowaniu architektury Data Lake / Data Lakehouse.
• Bardzo dobra znajomość Apache Spark i jego wykorzystania w Data Engineering.
• Doświadczenie w pracy z Apache Hadoop / HDFS.
• Praktyczna znajomość Delta Lake i/lub Apache Iceberg.
• Doświadczenie w projektowaniu architektury przetwarzania danych na dużą skalę.
• Bardzo dobra znajomość zagadnień ETL / ELT.
• Doświadczenie w przygotowywaniu dokumentacji architektonicznej HLD / LLD.
• Doświadczenie w prowadzeniu transformacji Data Warehouse.
• Umiejętność podejmowania decyzji architektonicznych i uzasadniania rekomendowanych rozwiązań.
• Doświadczenie w definiowaniu DataOps oraz CI/CD dla platform danych.
• Doświadczenie w pracy na stanowisku Technical Lead, Lead Architect lub podobnym.
• Bardzo dobra znajomość języka angielskiego i polskiego.

Responsibilities

• Analiza obecnej architektury oraz przygotowanie HLD docelowej architektury platformy danych i roadmoapy transformacji.
• Projektowanie architektury Data Lake / Data Lakehouse z wykorzystaniem Apache Hadoop / HDFS, Apache Spark oraz Delta Lake lub Apache Iceberg.
• Opracowanie koncepcji eliminacji ODI (ODI) oraz zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym o Apache HDFS.
• Projektowanie procesów ETL/ELT oraz wzorców przetwarzania danych: batch, near-real-time i streaming.
• Definiowanie standardów DataOps, CI/CD, zarządzania kodem, testowania, jakości danych, metadanych i monitorowania procesów.
• Przygotowywanie rekomendacji technologicznych oraz wsparcie w podejmowaniu decyzji architektonicznych.
• Pełnienie roli Technical Leada oraz mentoring i transfer wiedzy do zespołu w zakresie Hadoop, Data Lakehouse, Spark i Data Engineering.

Skills

Data Platform Architecture

Technical Lead experience

Data Engineering

Bilingual EN/PL

Tools

Apache Spark

Hadoop / HDFS

Delta Lake

Apache Iceberg

Job description

Nasze wymagania:

• Doświadczenie w projektowaniu nowoczesnych platform danych i hurtowni danych,


• Doświadczenie w projektowaniu architektury Data Lake / Data Lakehouse,


• Bardzo dobra znajomość Apache Spark i jego wykorzystania w obszarze Data Engineering,


• Doświadczenie w pracy z Apache Hadoop / HDFS,


• Praktyczna znajomość Delta Lake i/lub Apache Iceberg,


• Doświadczenie w projektowaniu architektury przetwarzania danych na dużą skalę,


• Bardzo dobra znajomość zagadnień ETL / ELT,


• Doświadczenie w przygotowywaniu dokumentacji architektonicznej HLD / LLD,


• Doświadczenie w prowadzeniu lub współprowadzeniu transformacji technologicznych środowisk Data Warehouse,


• Umiejętność podejmowania decyzji architektonicznych i uzasadniania rekomendowanych rozwiązań,


• Doświadczenie w definiowaniu procesów DataOps oraz CI/CD dla platform danych,


• Doświadczenie w pracy na stanowisku Technical Lead, Lead Architect lub podobnym,


• Bardzo dobra znajomość języka angielskiego i polskiego.

Mile widziane:

• Doświadczenie w migracji środowisk Oracle DWH,


• Znajomość Oracle Data Integrator (ODI),


• Bardzo dobra znajomość Oracle Database,


• Doświadczenie w projektach związanych z modernizacją klasycznych hurtowni danych do architektury Data Lake / Lakehouse,


• Doświadczenie w projektowaniu rozwiązań batch, near-real-time lub streaming,


• Doświadczenie w mentoringu zespołów Data Engineering,


• Znajomość narzędzi wspierających automatyzację procesów DataOps i CI/CD.

O projekcie:

Poszukujemy osoby na stanowisko Data Platform Architect / Architekt Hurtowni Danych, która będzie odpowiedzialna za zaprojektowanie docelowej architektury platformy danych oraz przygotowanie HLD i roadmapy transformacji. Projekt obejmuje modernizację obecnego środowiska Data Warehouse w kierunku Data Lake / Lakehouse, z wykorzystaniem m.in. Apache Spark, Hadoop/HDFS oraz Delta Lake lub Apache Iceberg. Rola łączy odpowiedzialność architektoniczną z funkcją Technical Leada, wsparciem zespołu w podejmowaniu decyzji oraz transferem wiedzy w zakresie nowoczesnego Data Engineering.

Zakres obowiązków:

• Analiza obecnej architektury oraz przygotowanie HLD docelowej architektury platformy danych i roadmapy transformacji,


• Projektowanie architektury Data Lake / Data Lakehouse z wykorzystaniem Apache Hadoop / HDFS, Apache Spark oraz Delta Lake lub Apache Iceberg,


• Opracowanie koncepcji eliminacji Oracle Data Integrator (ODI) oraz zastąpienia obecnych warstw SRC i STG rozwiązaniem opartym o Apache HDFS,


• Projektowanie procesów ETL/ELT oraz wzorców przetwarzania danych: batch, near-real-time i streaming,


• Definiowanie standardów DataOps, CI/CD, zarządzania kodem, testowania, jakości danych, metadanych i monitorowania procesów,


• Przygotowywanie rekomendacji technologicznych oraz wsparcie w podejmowaniu decyzji architektonicznych,


• Pełnienie roli Technical Leada oraz mentoring i transfer wiedzy do zespołu w zakresie Hadoop, Data Lakehouse, Spark i Data Engineering.

Oferujemy:

• Udział w strategicznym projekcie transformacji platformy danych,


• Realny wpływ na kształt docelowej architektury Data Warehouse / Data Lakehouse,


• Pracę z technologiami Apache Spark, Hadoop/HDFS, Delta Lake i Apache Iceberg,


• Możliwość pełnienia roli Technical Leada i wpływania na decyzje technologiczne,


• Współpracę z doświadczonym zespołem oraz możliwość mentoringu i transferu wiedzy,


• Dużą samodzielność w projektowaniu rozwiązań i przygotowywaniu rekomendacji architektonicznych.