Data Engineer (Python / PostgreSQL)

Sorigo; Warszawa; Hybrid; PLN 180,000 - 270,000; Full time

Benefits offered by this job

Opieka medyczna

Ubezpieczenie

Karta sportowa

Job summary

Sorigo poszukuje doświadczonego inżyniera danych, specjalizującego się w Pythonie i PostgreSQL. Do twoich zadań będzie należało projektowanie i utrzymanie procesów ETL/ELT, przetwarzanie dużych zestawów danych oraz optymalizacja zapytań w środowisku multi-cloud.

Znajomość Pandas/NumPy, SQL i PL/pgSQL oraz praktyczne doświadczenie z hurtowniami danych będą kluczowe. Wymagana dobra znajomość angielskiego (B2/C1). Praca w modelu hybrydowym, Warszawa.

Qualifications

• Minimum 5 lat doświadczenia jako Database Engineer/Data Engineer.
• Doświadczenie z PostgreSQL, SQL i PL/pgSQL.
• Mile widziane doświadczenie z BigQuery, Airflow lub dbt.
• Dobra znajomość angielskiego (B2/C1).

Responsibilities

• Projektowanie i utrzymanie procesów ETL/ELT.
• Praca nad hurtowniami danych (DWH) i integracją danych.
• Optymalizacja zapytań i analiza planów wykonania.
• Zarządzanie PostgreSQL MVCC, VACUUM i indeksami.
• Współpraca z zespołem w środowisku multi-cloud (AWS/Azure/GCP).

Skills

Python

SQL

Analiza danych

Angielski (B2/C1)

Tools

PostgreSQL

Pandas

NumPy

Airflow

dbt

BigQuery

AWS

Azure

Job description

W Sorigo zajmujemy się wdrażaniem innowacyjnych rozwiązań w obszarze IT. Mamy kilkunastoletnie doświadczenie we współpracy partnerskiej z dużymi klientami. Wierzymy także, że praca powinna dawać ludziom satysfakcję, a nie być tylko obowiązkiem. Choć czasami znalezienie odpowiedniego dla siebie miejsca wymaga czasu i dobrego ukierunkowania przez bardziej doświadczonych kolegów. Każdy pracownik przychodzi do nas po to aby się rozwinąć. Interesuje nas Twój rozwój, bo z tego czerpiemy satysfakcję, a nasi klienci korzyści.

Data Engineer (Python / PostgreSQL)

Lokalizacja: hybrydowo/Warszawa

• Świetnie znasz PostgreSQL, SQL lub PL/pgSQL i potrafisz wykorzystać je w pracy z dużymi bazami danych
• Masz przynajmniej 5 lat doświadczenia jako Database Engineer, Data Engineer, SQL Developer, Database Developer itp.
• Masz doświadczenie w pracy ze strukturami liczonymi w miliardach rekordów i terabajtach danych, dbając o ich wydajne przetwarzanie
• Potrafisz optymalizować zapytania i długotrwałe procesy, również takie, których wykonanie trwa wiele godzin
• Umiesz analizować plany wykonania zapytań i identyfikować wąskie gardła
• Znasz procedury składowane i potrafisz efektywnie wykorzystywać je w logice przetwarzania danych
• Bardzo dobrze znasz Pythona i masz praktyczne doświadczenie w pracy z bibliotekami Pandas i NumPy, wykorzystywanymi do analizy, transformacji i przetwarzania danych
• Potrafisz łączyć Python i PostgreSQL w procesach przetwarzania oraz analizy danych
• Potrafisz analizować dane i problemy pochodzące z różnych źródeł
• Masz doświadczenie w analizie logów systemowych oraz korzystaniu z rozszerzeń PostgreSQL, takich jak pg_stat_statements, w celu identyfikacji wąskich gardeł, blokad i problematycznych procesów
• Masz wiedzę o partycjonowaniu danych, szczególnie po datach, w celu optymalizacji pracy z terabajtowymi tabelami
• Masz doświadczenie w pracy na poziomie L2, obejmującej rozwiązywanie problemów i utrzymanie procesów w środowisku produkcyjnym
• Biegle posługujesz się językiem angielskim (B2/C1)

• Mile widziane doświadczenie z BigQuery, Airflow lub dbt
• Znajomość baz danych i przetwarzania danych w chmurze (AWS, Azure)
• Doświadczenie w budowaniu lub utrzymywaniu procesów ETL/ELT z wykorzystaniem Pythona
• Znajomość dobrych praktyk w zakresie wydajnego przetwarzania dużych zbiorów danych w Pandas/NumPy
• Wiedza dotyczaca funduszy inwestycyjnych (ETFs)

• lubisz pracować w przyjaznej atmosferze?
• chcesz czerpać satysfakcję z pracy w inspirujących projektach tworzonych przez ludzi z pasją?
• nie boisz się złożonych zagadnień, mając świadomość, że one napędzają Twój rozwój?
• chcesz być doceniany nie tylko za wyniki, ale i za swoje zaangażowanie?

• Praca w projektach opartych o PostgreSQL, Python, hurtownie danych i systemy przetwarzające bardzo duże wolumeny informacji
• Dołączysz do nowo powstającego, 5-6 osobowego hubu kompetencyjnego w Polsce, który docelowo przejmie pełną odpowiedzialność merytoryczną za projekt od zespołu z Hiszpanii
• Będziesz współtworzyć krytyczną aplikację bankową odpowiedzialną za revenues management oraz stock reconciliation, pracując w unikalnym środowisku multi-cloud (AWS i GCP)
• Rozwój kompetencji w obszarze DWH, integracji danych i rozwiązań bazodanowych
• Zajmiesz się zaawansowanym zarządzaniem silnikiem PostgreSQL, w tym mechanizmami MVCC (Xmin/Xmax), procesami Vacuum oraz doborem niestandardowych indeksów, takich jak BRIN
• Jasny plan kariery i wsparcie w Twoim rozwoju zawodowym na poziomie L2
• wyzwania technologiczne i rozwojowe m.in. w zakresie tematyki Data i analizy danych;
• pakiet socjalny: opieka medyczna, ubezpieczenie, karta sportowa;
• praca z najnowszymi technologiami i trendami rynku;
• konkurencyjne wynagrodzenie;
• bezkonkurencyjna atmosfera w pracy.

Liczymy, że pochwalisz się w CV swoim doświadczeniem - co do tej pory robiłeś, od małych projektów po duże komercyjne, bo doświadczenie jest ważne, ale ważniejszy potencjał Twojego rozwoju.

Prosimy o zawarcie w CV klauzuli: „Wyrażam zgodę na przetwarzanie danych osobowych zawartych w mojej ofercie pracy dla potrzeb niezbędnych do realizacji procesu rekrutacji prowadzonego przez Sorigo Sp. z o.o. z siedzibą w Warszawie zgodnie z ustawą z dnia 29 sierpnia 1997 r. o ochronie danych osobowych (tj. Dz. U. z 2014 r. poz. 1182, 1662)”.