Big Data Developer

Connectis_; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Elastyczna forma współpracy B2B

Wsparcie administracyjne Connectis

Job summary

Connectis_ poszukuje doświadczonego Big Data Engineer do realizacji projektów w Warszawie, w sektorze bankowym. Praca obejmuje projektowanie i utrzymanie pipeline’ów do przetwarzania dużych wolumenów danych, z naciskiem na skalowalność i niezawodność, w środowisku Agile/Scrum.

Wymagane jest minimum 4 lata doświadczenia, znajomość Spark, Hive, SQL oraz Java; bardzo dobra znajomość angielskiego (C1). Mile widziane doświadczenie z Airflow, Azure i Databricks.

Qualifications

• Minimum 4 lata komercyjnego doświadczenia w Data Engineering lub Software Engineering w Big Data.
• Zaawansowana znajomość Apache Spark, Hive oraz SQL.
• Solidne doświadczenie w programowaniu w Java.
• Bardzo dobra znajomość języka angielskiego (min. C1).
• Wykształcenie wyższe: Computer Science / Software Engineering lub pokrewne.
• Mile widziane doświadczenie w ScalA oraz Python (Airflow).

Responsibilities

• Projektowanie i implementacja pipeline’ów do ingestu, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing z naciskiem na skalowalność i niezawodność.
• Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
• Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
• Analiza źródeł danych oraz przekładanie wymagań biznesowych na specyfikacje techniczne.
• Code review i dbałość o jakość kodu, standardy TDD/BDD i dobre praktyki DevOps.
• Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
• Tworzenie dokumentacji i test planów w środowisku Agile/Scrum.
• Realizacja usług w Warszawie (orientacyjnie 3x w tygodniu z biura).

Skills

Java

Spark

Hive

SQL

Scala

TDD/BDD

English (C1)

Education

Wyższe: Computer Science / Software Engineering

Tools

Azure

Airflow

Databricks

Job description

Lokalizacja: Realizacja usług w Warszawie (orientacyjnie 3x w tygodniu z biura)

Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonej osoby do realizacji projektów jako Big Data Engineer.

Projekty dotyczą bankowości B2B i B2C platform dla dużych kredytów, pożyczek profesjonalnych oraz aplikacji wspierających transformację cyfrową.

• Projektowanie i implementacja pipeline’ów do ingestu, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing z naciskiem na skalowalność, niezawodność i odporność na błędy.
• Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
• Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
• Analiza źródeł danych oraz przekładanie wymagań biznesowych na specyfikacje techniczne.
• Code review oraz dbałość o jakość kodu, standardy TDD/BDD i dobre praktyki DevOps.
• Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
• Tworzenie dokumentacji i test planów w środowisku Agile/Scrum.
• Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub Software Engineering w środowisku Big Data.
• Zaawansowana znajomość oraz praktyczne doświadczenie w pracy z Apache Spark, Hive oraz SQL.
• Głębokie zrozumienie i doświadczenie w tworzeniu testowalnego kodu zgodnie z podejściem TDD.
• Wykształcenie wyższe: Computer Science, Software Engineering lub pokrewne.
• Solidne, praktyczne doświadczenie w programowaniu w języku Java.
• Bardzo dobra znajomość języka angielskiego (min. C1).

Mile widziane:

• Praktyczne doświadczenie w programowaniu w Scali.
• Python (szczególnie w kontekście Airflow i orkiestracji pipeline'ów).
• Doświadczenie z Azure (ADF, ADLS, Databricks lub pokrewne usługi).
• Znajomość architektury mikroserwisowej i REST API.
• Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych.
• Realizacja usług w Warszawie (orientacyjnie 3x w tygodniu z biura).
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczna forma współpracy B2B.
• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Uprzejmie informujemy, że skontaktujemy się z wybranymi osobami.