Programista Big Data

LinkedIn - Jobboard; Warszawa; Remote; PLN 120,000 - 180,000; Full time

Job summary

An innovative company is seeking a Big Data Developer to join their team. In this role, you will work on exciting projects that impact millions of lives, particularly in the healthcare sector. You will design and optimize data processing pipelines, leveraging tools like Apache Spark and SQL. This position offers a competitive salary on a B2B contract basis, with the flexibility of remote work or an office environment. Join a forward-thinking team that values long-term collaboration and personal growth, and make a real difference in the world of data processing.

Benefits

Competitive salary

Long-term collaboration

Training budget

Remote work option

Dedicated contract manager

Employee referral program

Qualifications

• Minimum 5 years of experience as a Big Data Developer.
• Experience with large data set processing and Apache Spark.

Responsibilities

• Process and analyze large data sets using Python and SQL.
• Design and optimize data processing pipelines with Apache Spark.

Skills

Python

Apache Spark

SQL

Hadoop

Apache Airflow

Data Warehousing

Big Data Processing

Agile Methodologies

Education

Agile PM Certification

Airflow Fundamentals Certification

Spark Developer Associate Certification

W3Schools SQL Certificate

Tools

Git

ETL/ELT Processes

Job description

Dołącz do Detable Sp. Z o.o. - prężnie rozwijającej się firmy, która stawia na długofalową współpracę z doświadczonymi profesjonalistami. Od ponad 2 lat jesteśmy partnerem dla instytucji z sektora publicznego, współpracujemy m.in. z Centrum e-zdrowia, Aplikacjami Krytycznymi Ministerstwa Finansów, Głównym Urzędem Nadzoru Budowlanego, Urzędem Do Spraw Cudzoziemców, Narodowym Funduszem Zdrowia i wieloma innymi.

Nasi konsultanci pracują nad rozwojem aplikacji i systemów, z których korzystają miliony Polaków! Z sukcesem działamy na rzecz informatyzacji polskiej służby zdrowia. Bierzemy udział w rozwijaniu systemu e-zdrowie -P1 (e-recepty, gabinet gov.pl, KSO – krajowa sieć onkologiczna), a także e-krew oraz RIZM - Centralny Rejestr Osób Uprawnionych do Wykonywania Zawodu Medycznego.

Możemy pochwalić się także udziałem w realizacji kluczowych projektów w obszarze finansowym, takich jak KSeF - Krajowy System e-Faktur, JSP - Jednolity System Podatkowy.

Jeśli chcesz pracować nad aplikacjami, z których będziesz potem korzystać w codziennym życiu, dołącz do naszego zespołu jako Programista Big Data.

Ta rola jest właśnie dla Ciebie jeśli:

• posiadasz minimum 5 lat doświadczenia w pracy na stanowisku Programista Big Data;
• możesz pochwalić się realizacją minimum 3 projektów przetwarzających bardzo duże zbiory danych;
• umiesz programować w języku Python;
• nie jest Ci obca praca w środowisku obliczeniowym on-premise;
• na co dzień pracujesz w środowisku Apache Spark;
• SQL nie ma przed Tobą tajemnic;
• znasz Apache Airflow i zagadnienia Hadoop;
• miałeś okazję pracować w obszarze Hurtowni Danych;
• posiadasz doświadczenie w obszarze ochrony zdrowia;
• biegle posługujesz się językiem polskim;
• możesz przedstawić następujące certyfikaty: Agile PM lub równoważny, Airflow Fundamentals lub równoważny, Dag Authoring lub równoważny, Spark Developer Associate lub równoważny, W3Schools SQL Certificate lub równoważny.

Jeśli dołączysz do naszego zespołu, Twoim zadaniem będzie:

• przetwarzanie i analiza dużych zbiorów danych;
• projektowanie, implementacja i optymalizacja procesów przetwarzania miliardowych zbiorów danych;
• wykorzystywanie technologii Apache Spark do równoległego przetwarzania danych;
• tworzenie i zarządzanie przepływami danych w Apache Airflow.
• tworzenie i rozwój procesów ETL/ELT;
• projektowanie i implementacja procesów integracji danych;
• automatyzacja oraz optymalizacja przepływów danych w oparciu o Apache Airflow;
• monitorowanie, diagnostyka oraz utrzymanie procesów przetwarzania danych;
• programowanie w Python i SQL;
• implementacja skryptów w języku Python do analizy i transformacji danych;
• tworzenie i optymalizacja zapytań SQL dla hurtowni danych;
• integracja kodu z innymi systemami oraz dostosowywanie go do wymagań biznesowych;
• zarządzanie i utrzymanie środowiska obliczeniowego on-premise;
• konfiguracja i optymalizacja środowiska Hadoop oraz powiązanych technologii;
• praca w środowisku lokalnym, zapewniająca stabilność i wydajność systemu;
• udział w projektach analizy i przetwarzania danych;
• współpraca z zespołami analitycznymi i biznesowymi w celu określenia wymagań;
• implementacja rozwiązań wspierających raportowanie i analizę danych;
• tworzenie dokumentacji technicznej dotyczącej przetwarzanych danych i procesów;
• implementacja i zarządzanie procesami CI/CD;
• wdrażanie oraz utrzymanie procesów ciągłej integracji i wdrażania kodu;
• użycie systemu kontroli wersji Git do zarządzania kodem źródłowym;
• współpraca i rozwój osobisty;
• aktywna współpraca w zespołach projektowych i scrumowych;
• uczestnictwo w procesach planowania, estymacji i doskonalenia procesów;
• stałe podnoszenie kwalifikacji i poszerzanie wiedzy w obszarze Big Data.

Z naszej strony możesz liczyć na:

• konkurencyjne wynagrodzenie w oparciu o kontrakt B2B (140 – 155 pln netto/h);
• długofalową współpracę opartą o wzajemny szacunek i partnerstwo;
• dedykowanego opiekuna kontraktu po stronie Detable;
• możliwość 100% pracy zdalnej lub z naszego biura w Białymstoku;
• możliwość podnoszenia swoich kwalifikacji poprzez skorzystanie z budżetu szkoleniowego;
• realny wpływ na rozwój projektu;
• atrakcyjny program poleceń pracowniczych;
• zdalny proces rekrutacji.

  Jak wygląda u nas proces rekrutacji?

  • rozmowa HR z naszą IT Rekruterką;
  • weryfikacja umiejętności technicznych przez naszego Lidera technicznego;
  • spotkanie z klientem;
  • decyzja i rozpoczęcie współpracy