Remote Senior Big Data Engineer - PySpark, Spark, Kubernetes

Solid Company; Polska; Hybrid; PLN 107,000 - 179,000; Full time

Benefits offered by this job

Praca zdalna

Karta sportowa

Prywatna opieka zdrowotna

Szybki proces rekrutacyjny

Job summary

Lumicode Sp. z o.o. należy do Grupy Pentacomp, dostawcy rozwiązań IT dla dużych przedsiębiorstw i sektora publicznego. Szukamy specjalisty Big Data z 5+ lat doświadczenia w Scala/Python/Java oraz z doświadczeniem w Spark i Iceberg. Praca zdalna, szybki proces rekrutacyjny. Możliwość pracy nad projektami związanymi z Big Data i Kubernetes.

Wymagane umiejętności w Python, Spark, SQL, Linux, Docker, Kubernetes oraz doświadczenie w integracjach i optymalizacji danych.

Qualifications

• Minimum 5 lat praktycznego doświadczenia w programowaniu w Scala, Python lub Java.
• Komercyjne doświadczenie w projektach związanych z systemami rozproszonymi.
• Minimum 3 lata doświadczenia w pracy z Big Data, Apache Spark i Iceberg.
• Doświadczenie w optymalizacji przetwarzania dużych zbiorów danych.
• Doświadczenie w projektach związanych z integracją systemów na dużą skalę.
• Znajomość relacyjnych baz danych (RDBMS) i SQL.
• Praktyczna znajomość środowiska Linux i języków skryptowych.
• Doświadczenie w konteneryzacji, Dockerfile, oraz podstaw Kubernetes.

Responsibilities

• Tworzenie i optymalizacja rozwiązań bazujących na Python.
• Praca w środowisku Kubernetes, w tym z wykorzystaniem Spark Operator, Jupyter oraz Airflow.
• Tworzenie rozwiązań Big Data z wykorzystaniem Apache Spark / PySpark.
• Wsparcie techniczne testów jednostkowych, integracyjnych oraz UAT.
• Dokumentowanie kodu oraz przepływu danych.

Skills

Python

Scala

Java

SQL

Linux

Tools

Apache Spark

Apache Iceberg

Kubernetes

Docker

Jupyter

Airflow

Job description

Kim jesteśmy

Lumicode Sp. z o.o. należy do Grupy Pentacomp, która jest producentem rozwiązań informatycznych i dostawcą profesjonalnych usług IT dla dużych przedsiębiorstw i sektora publicznego.

Jako Pentacomp tworzymy rozwiązania IT łączące innowacyjność z latami doświadczeń - a ich mamy całkiem sporo. Istniejemy na rynku prawie 30 lat i możemy pochwalić się wieloma zrealizowanymi projektami.

• Praca zdalna;
• Stawka do 130 pln/h netto + VAT B2B;
• Skorzystanie z karty sportowej oraz możliwość skorzystania z prywatnej opieki zdrowotnej;
• Praca od zaraz;
• Szybki proces rekrutacyjny.

Zakres obowiązków:

• Tworzenie i optymalizacja rozwiązań bazujących na języku Python.
• Praca w środowisku Kubernetes, w tym z wykorzystaniem Spark Operator, Jupyter oraz Airflow.
• Tworzenie rozwiązań Big Data z wykorzystaniem Apache Spark / PySpark.
• Techniczne wsparcie testów w obszarze testów jednostkowych, integracyjnych oraz UAT.
• Dokumentowanie kodu oraz przepływu danych.

Kogo poszukujemy?

• Minimum 5 lat praktycznego doświadczenia w programowaniu w językach Scala, Python lub Java.
• Komercyjne doświadczenie w realizacji projektów związanych z systemami rozproszonymi.
• Minimum 3 lata doświadczenia w pracy z rozwiązaniami klasy Big Data, w szczególności Apache Spark oraz Apache Iceberg.
• Doświadczenie komercyjne w zakresie optymalizacji przetwarzania dużych zbiorów danych.
• Doświadczenie w projektach związanych z integracją systemów realizowaną na dużą skalę.
• Doświadczenie w pracy z relacyjnymi bazami danych (RDBMS) oraz bardzo dobra znajomość SQL.
• Praktyczna znajomość środowiska Linux oraz języków skryptowych.
• Doświadczenie w zakresie konteneryzacji, w tym modyfikacji Dockerfile, oraz znajomość podstaw Kubernetes.