Senior Data Engineer – Scala / Spark / Hadoop

B2B.NET S.A.; Warszawa; Hybrid; PLN 120,000 - 180,000; Full time

Benefits offered by this job

Udział w strategicznym projekcie regul

Praca w zaawansowanym środowisku Big D

Scala, Hadoop, Spark, Kafka, Airflow i

Jenkins w CI/CD

Międzynarodowy zespół

Stabilny, długoterminowy projekt

Job summary

B2B.NET S.A. w Polsce poszukuje Data Engineera specjalizującego się w Hadoop/Spark/Kafka do projektowania i utrzymania skalowalnych pipeline’ów danych w środowisku regulacyjnym sektora finansowego.

Do Twoich zadań będzie należało tworzenie i optymalizacja przetwarzania danych, pisanie wydajnych zapytań SQL oraz udział w CI/CD z Jenkins. Praca w międzynarodowym zespole, zapewnienie wydajności, bezpieczeństwa i niezawodności rozwiązań. Hybrydowy tryb pracy – 2 dni w biurze w Warszawie lub Gdańsku.

Qualifications

• Bardzo dobra, praktyczna znajomość Scali
• Doświadczenie komercyjne z Apache Hadoop
• Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych
• Doświadczenie w tworzeniu pipeline’ów Data Engineering
• Znajomość Apache Kafka oraz architektury event-driven
• Praktyczne doświadczenie z CI/CD, w szczególności Jenkins
• Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów
• Umiejętność tworzenia i optymalizowania zapytań SQL
• Doświadczenie w pracy ze środowiskami produkcyjnymi
• Umiejętność samodzielnego analizowania złożonych problemów technicznych
• Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole
• Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku
• Możliwość wykonywania pracy z terytorium Polski

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark
• Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych
• Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne
• Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych
• Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych
• Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow
• Rozwijanie rozwiązań opartych na języku Scala
• Praca z architekturą event-driven wykorzystującą Apache Kafka
• Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins
• Zapewnianie wsparcia L3 dla środowisk produkcyjnych
• Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów
• Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów
• Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań

Skills

Scala

Hadoop

Spark

Data pipelines

Kafka

CI/CD

Git

SQL

Production environments

English

Problem solving

Team collaboration

Tools

Oozie

Airflow

Jenkins

Job description

Nasze wymagania:

• Bardzo dobra, praktyczna znajomość Scali.
• Doświadczenie komercyjne z Apache Hadoop.
• Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych.
• Doświadczenie w tworzeniu pipeline’ów Data Engineering.
• Znajomość Apache Kafka oraz architektury event-driven.
• Praktyczne doświadczenie z CI/CD, w szczególności Jenkins.
• Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów.
• Umiejętność tworzenia i optymalizowania zapytań SQL.
• Doświadczenie w pracy ze środowiskami produkcyjnymi.
• Umiejętność samodzielnego analizowania złożonych problemów technicznych.
• Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole.
• Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku.
• Możliwość wykonywania pracy z terytorium Polski.

Mile widziane:

• Znajomość Kubernetes.
• Doświadczenie z Apache Flink.
• Znajomość Apache Airflow lub Apache Oozie.
• Doświadczenie w projektach regulacyjnych lub systemach raportowych.
• Doświadczenie zdobyte w sektorze finansowym.

Zakres obowiązków:

• Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark.
• Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych.
• Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne.
• Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych.
• Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych.
• Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow.
• Rozwijanie rozwiązań opartych na języku Scala.
• Praca z architekturą event-driven wykorzystującą Apache Kafka.
• Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins.
• Zapewnianie wsparcia L3 dla środowisk produkcyjnych.
• Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów.
• Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów.
• Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań.

Oferujemy:

• Udział w strategicznym projekcie regulacyjnym o realnym znaczeniu dla sektora finansowego.
• Pracę w zaawansowanym środowisku Big Data.
• Możliwość korzystania z technologii takich jak Scala, Hadoop, Spark, Kafka, Airflow i Jenkins.
• Dużą samodzielność oraz wpływ na podejmowane decyzje techniczne.
• Współpracę z doświadczonym, międzynarodowym zespołem.
• Stabilny i długoterminowy projekt.
• Środowisko pracy stawiające na jakość, bezpieczeństwo oraz rozwój kompetencji eksperckich.
• Możliwość zdobycia doświadczenia w obszarze regulacji finansowych i raportowania.