Senior Big Data Engineer - Remote, Spark & PySpark

Lumicode Sp. z o.o. (Pentacomp Group); Warszawa; On-site; PLN 125,000 - 178,000; Full time

Benefits offered by this job

Private medical care

Sports card

Remote work

Job summary

Lumicode Sp. z o.o. (Pentacomp Group) poszukuje doświadczonego programisty do pracy zdalnej nad projektami Big Data, wykorzystując Apache Spark i Iceberg. Wymagane minimum 5 lat praktycznego doświadczenia w Scala, Python lub Java oraz know-how w integracji systemów i SQL. Praca z Docker/Kubernetes i Linuxem zapewnia nowoczesne środowisko.

Stawka do 110 PLN/h netto na B2B + VAT, możliwość prywatnej opieki medycznej i karty sportowej, współpraca zdalna i elastyczne godziny pracy.

Qualifications

• Minimum 5 lat praktycznego doświadczenia w programowaniu w Scala, Python lub Java.
• Komercyjne doświadczenie w projektach związanych z systemami rozproszonymi.
• Minimum 3 lata doświadczenia w pracy z rozwiązaniami Big Data, w szczególności Apache Spark oraz Apache Iceberg.
• Doświadczenie w optymalizacji przetwarzania dużych zbiorów danych.
• Doświadczenie w projektach związanych z integracją systemów na dużą skalę.
• Doświadczenie w relacyjnych bazach danych (RDBMS) oraz zaawansowana znajomość SQL.
• Praktyczna znajomość Linuxa oraz języków skryptowych.
• Doświadczenie w konteneryzacji, w tym modyfikacja Dockerfile, oraz znajomość Kubernetes.

Responsibilities

• Tworzenie i optymalizacja rozwiązań bazujących na języku Python.
• Praca w środowisku Kubernetes, w tym z wykorzystaniem Spark Operator, Jupyter oraz Airflow.
• Tworzenie rozwiązań Big Data z wykorzystaniem Apache Spark / PySpark.
• Techniczne wsparcie testów w obszarze testów jednostkowych, integracyjnych oraz UAT.
• Dokumentowanie kodu oraz przepływu danych.

Skills

Scala

Python

Java

Big Data concepts

Distributed systems

Tools

Docker

Kubernetes

Apache Spark

PySpark

SQL

Linux

Job description

Lumicode Sp. z o.o. (Pentacomp Group) poszukuje doświadczonego programisty do pracy zdalnej nad projektami Big Data, wykorzystując Apache Spark i Iceberg. Wymagane minimum 5 lat praktycznego doświadczenia w Scala, Python lub Java oraz know-how w integracji systemów i SQL. Praca z Docker/Kubernetes i Linuxem zapewnia nowoczesne środowisko.

Stawka do 110 PLN/h netto na B2B + VAT, możliwość prywatnej opieki medycznej i karty sportowej, współpraca zdalna i elastyczne godziny pracy.