Big Data Engineer – Spark/Scala | Hybrid in Warsaw

Connectis_; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Benefits offered by this job

Elastyczna forma współpracy B2B

Wsparcie administracyjne Connectis

Job summary

Connectis_ poszukuje doświadczonego Big Data Engineer do realizacji projektów w Warszawie, w sektorze bankowym. Praca obejmuje projektowanie i utrzymanie pipeline’ów do przetwarzania dużych wolumenów danych, z naciskiem na skalowalność i niezawodność, w środowisku Agile/Scrum.

Wymagane jest minimum 4 lata doświadczenia, znajomość Spark, Hive, SQL oraz Java; bardzo dobra znajomość angielskiego (C1). Mile widziane doświadczenie z Airflow, Azure i Databricks.

Qualifications

• Minimum 4 lata komercyjnego doświadczenia w Data Engineering lub Software Engineering w Big Data.
• Zaawansowana znajomość Apache Spark, Hive oraz SQL.
• Solidne doświadczenie w programowaniu w Java.
• Bardzo dobra znajomość języka angielskiego (min. C1).
• Wykształcenie wyższe: Computer Science / Software Engineering lub pokrewne.
• Mile widziane doświadczenie w ScalA oraz Python (Airflow).

Responsibilities

• Projektowanie i implementacja pipeline’ów do ingestu, transformacji i przetwarzania dużych wolumenów danych.
• Industrializacja rozwiązań data processing z naciskiem na skalowalność i niezawodność.
• Rozwój i optymalizacja jobów Spark/Scala (przetwarzanie wsadowe, data mapping, tuning wydajności).
• Udział w projektowaniu architektury Big Data oraz rekomendowanie rozwiązań technologicznych.
• Analiza źródeł danych oraz przekładanie wymagań biznesowych na specyfikacje techniczne.
• Code review i dbałość o jakość kodu, standardy TDD/BDD i dobre praktyki DevOps.
• Wsparcie produkcyjne (L3), troubleshooting i identyfikacja ryzyk technicznych.
• Tworzenie dokumentacji i test planów w środowisku Agile/Scrum.
• Realizacja usług w Warszawie (orientacyjnie 3x w tygodniu z biura).

Skills

Java

Spark

Hive

SQL

Scala

TDD/BDD

English (C1)

Education

Wyższe: Computer Science / Software Engineering

Tools

Azure

Airflow

Databricks

Job description

Connectis_ poszukuje doświadczonego Big Data Engineer do realizacji projektów w Warszawie, w sektorze bankowym. Praca obejmuje projektowanie i utrzymanie pipeline’ów do przetwarzania dużych wolumenów danych, z naciskiem na skalowalność i niezawodność, w środowisku Agile/Scrum.

Wymagane jest minimum 4 lata doświadczenia, znajomość Spark, Hive, SQL oraz Java; bardzo dobra znajomość angielskiego (C1). Mile widziane doświadczenie z Airflow, Azure i Databricks.