Senior Data Engineer — Scala, Spark, Hadoop & Kafka

B2B.NET S.A.; Warszawa; Hybrid; PLN 120,000 - 180,000; Full time

Benefits offered by this job

Udział w strategicznym projekcie regul

Praca w zaawansowanym środowisku Big D

Scala, Hadoop, Spark, Kafka, Airflow i

Jenkins w CI/CD

Międzynarodowy zespół

Stabilny, długoterminowy projekt

Job summary

B2B.NET S.A. w Polsce poszukuje Data Engineera specjalizującego się w Hadoop/Spark/Kafka do projektowania i utrzymania skalowalnych pipeline’ów danych w środowisku regulacyjnym sektora finansowego.

Do Twoich zadań będzie należało tworzenie i optymalizacja przetwarzania danych, pisanie wydajnych zapytań SQL oraz udział w CI/CD z Jenkins. Praca w międzynarodowym zespole, zapewnienie wydajności, bezpieczeństwa i niezawodności rozwiązań. Hybrydowy tryb pracy – 2 dni w biurze w Warszawie lub Gdańsku.

Qualifications

• Bardzo dobra, praktyczna znajomość Scali
• Doświadczenie komercyjne z Apache Hadoop
• Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych
• Doświadczenie w tworzeniu pipeline’ów Data Engineering
• Znajomość Apache Kafka oraz architektury event-driven
• Praktyczne doświadczenie z CI/CD, w szczególności Jenkins
• Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów
• Umiejętność tworzenia i optymalizowania zapytań SQL
• Doświadczenie w pracy ze środowiskami produkcyjnymi
• Umiejętność samodzielnego analizowania złożonych problemów technicznych
• Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole
• Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku
• Możliwość wykonywania pracy z terytorium Polski

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark
• Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych
• Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne
• Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych
• Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych
• Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow
• Rozwijanie rozwiązań opartych na języku Scala
• Praca z architekturą event-driven wykorzystującą Apache Kafka
• Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins
• Zapewnianie wsparcia L3 dla środowisk produkcyjnych
• Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów
• Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów
• Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań

Skills

Scala

Hadoop

Spark

Data pipelines

Kafka

CI/CD

Git

SQL

Production environments

English

Problem solving

Team collaboration

Tools

Oozie

Airflow

Jenkins

Job description

B2B.NET S.A. w Polsce poszukuje Data Engineera specjalizującego się w Hadoop/Spark/Kafka do projektowania i utrzymania skalowalnych pipeline’ów danych w środowisku regulacyjnym sektora finansowego.

Do Twoich zadań będzie należało tworzenie i optymalizacja przetwarzania danych, pisanie wydajnych zapytań SQL oraz udział w CI/CD z Jenkins. Praca w międzynarodowym zespole, zapewnienie wydajności, bezpieczeństwa i niezawodności rozwiązań. Hybrydowy tryb pracy – 2 dni w biurze w Warszawie lub Gdańsku.