Spark / Data Lakehouse Developer

ALGOTEQUE Innovation Hub; Wrocław; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

ALGOTEQUE Innovation Hub poszukuje doświadczonego Spark / Data Lakehouse Developera do budowy i rozwoju rozwiązań Data Lakehouse oraz rekonsyliacji danych w warstwie ODS.

Wymagane minimum 4 lata praktycznego doświadczenia z Apache Spark, dobra znajomość PySpark, Spark SQL i Iceberg. Praca w modelu B2B, hybridowa z Wrocławia lub zdalnie, z okazjonalnymi spotkaniami projektowymi w biurze.

Qualifications

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowisku produkcyjnym.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.
• Doświadczenie z MongoDB oraz MongoDB Spark Connector.
• Praktyczna znajomość Apache Iceberg.
• Znajomość Python i Spark SQL.
• Doświadczenie z Jenkins i procesami CI/CD dla aplikacji Spark.
• Znajomość Prometheus i Grafana.
• Doświadczenie pracy w Scrum/Kanban oraz Jira/Confluence.

Responsibilities

• Projektowanie i implementacja procesów rekonsyliacji danych z wykorzystaniem Spark-SQL / PySpark.
• Porównywanie danych z MongoDB z systemami źródłowymi oraz budowanie reguł jakości danych.
• Integracja Spark z MongoDB i optymalizacja procesów odczytu/zapisu.
• Budowa i rozwój warstw Raw/Bronze/Silver/Gold w architekturze Data Lakehouse.
• Praca z Apache Iceberg oraz wersjonowaniem i migracją danych.
• Optymalizacja wydajności i kosztów przetwarzania danych w Spark.
• Konfiguracja monitoringu i observability procesów danych.
• Automatyzacja deploymentów Spark oraz wsparcie procesów CI/CD.
• Diagnozowanie problemów z danymi i utrzymanie dokumentacji technicznej.
• Współpraca z zespołami Data Engineering, Business Analysis, QA i DevOps oraz udział w code review i warsztatach.

Skills

Apache Spark

PySpark

Spark SQL

DataFrames

Structured Streaming

MongoDB

MongoDB Spark Connector

Apache Iceberg

Python

Jenkins

CI/CD

Prometheus

Grafana

Scrum/Kanban

Jira/Confluence

Tools

Jira/Confluence

Prometheus

Grafana

MongoDB Spark Connector

Job description

ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT.

Job Description

Poszukujemy doświadczonego Spark / Data Lakehouse Developera do projektu związanego z budową i rozwojem rozwiązań Data Lakehouse oraz rekonsyliacją danych w warstwie ODS.

Zakres współpracy

• Projektowanie i implementacja procesów rekonsyliacji danych z wykorzystaniem Spark-SQL / PySpark.
• Porównywanie danych z MongoDB z systemami źródłowymi oraz budowanie reguł jakości danych.
• Integracja Spark z MongoDB i optymalizacja procesów odczytu/zapisu.
• Budowa i rozwój warstw Raw/Bronze/Silver/Gold w architekturze Data Lakehouse.
• Praca z Apache Iceberg oraz wersjonowaniem i migracją danych.
• Optymalizacja wydajności i kosztów przetwarzania danych w Spark.
• Konfiguracja monitoringu i observability procesów danych.
• Automatyzacja deploymentów Spark oraz wsparcie procesów CI/CD.
• Diagnozowanie problemów z danymi i utrzymanie dokumentacji technicznej.
• Współpraca z zespołami Data Engineering, Business Analysis, QA i DevOps oraz udział w code review i warsztatach.

Profile / Requirements

• Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowisku produkcyjnym.
• Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.
• Doświadczenie z MongoDB oraz MongoDB Spark Connector.
• Praktyczna znajomość Apache Iceberg.
• Znajomość Python i Spark SQL.
• Doświadczenie z Jenkins i procesami CI/CD dla aplikacji Spark.
• Znajomość Prometheus i Grafana.
• Doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira/Confluence.

Warunki współpracy

• Forma: B2B.
• Lokalizacja: Wrocław / zdalnie (przewidziane są spotkania projektowe w biurze raz w miesiącu).

AO4401