Senior Data Engineer

j-labs software specialist; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

j-labs software specialist w Krakowie szuka doświadczonego inżyniera danych. Będziesz projektować i utrzymywać end-to-end pipeline’y, rozwijać modele danych dla relacyjnych, grafowych i NoSQL, a także dbać o jakość danych i provenance.

Pracujesz w międzynarodowym zespole przy platformie Knowledge Graph i integracjach z AI. Preferujemy biegłość w Pythonie i SQL, znajomość chmury oraz CI/CD, monitorowanie i orkiestrację pipeline’ów.

Qualifications

• Wymagane min. 5 lat doświadczenia na podobnym stanowisku.
• Biegła znajomość Pythona i SQL.
• Praktyczne doświadczenie z Knowledge Graph.
• Doświadczenie w projektowaniu modeli danych NoSQL.
• Umiejętność projektowania end-to-end pipeline’ów dla wielu źródeł i domen.
• Swoboda w pracy z danymi strukturalnymi i niestrukturalnymi, w tym treścią dokumentów i metadanymi źródłowymi.
• Znajomość usług chmurowych, orkiestracji pipeline’ów, CI/CD i monitoringu.
• Bardzo dobra znajomość języka angielskiego (min. B2) oraz polskiego (min. B2).
• Otwartość na pracę w biurze w Krakowie 6 razy w miesiącu.

Responsibilities

• Projektowanie, budowa i utrzymanie pipeline’ów end-to-end.
• Tworzenie reużywalnych konektorów i komponentów dla danych strukturalnych i niestrukturalnych.
• Rozwój modeli danych dla baz relacyjnych, grafowych i NoSQL.
• Rozwój warstwy Knowledge Graph i przekładanie ontologii na modele danych.
• Zapewnienie jakości danych, lineage i provenance.
• Współtworzenie standardów bezpieczeństwa, kontroli dostępu, observability i cyklu życia danych.

Skills

Python

SQL

Knowledge Graph

NoSQL data modeling

Data pipelines design

Structured/unstructured data

Data orchestration

Cloud data services

CI/CD

Monitoring

English (B2)

Polish (B2)

Job description

O projekcie:

• Budujemy platformę wiedzy organizacji w skali enetrprise, wykorzystywaną przez wiele zespołów i produktów.
• Zespół będzie tworzyć reużywalne wzorce inżynierskie, na których oprze się platforma.
• Platforma budowana jest z myślą o przyszłym wykorzystaniu przez rozwiązania AI i Agent Hub.
• Projekt wykorzystuje rozwiązania open source oraz wewnętrzną platformę cloud.
• Zespół będzie pracował w międzynarodowym środowisku.

Wymagania:

• Minimum 5 lat doświadczenia jako Data Engineer lub podobnej roli.
• Bardzo dobra znajomość Python oraz SQL.
• Praktyczne doświadczenie z Knowledge Graph.
• Doświadczenie w projektowaniu modeli danych NoSQL.
• Praktyka z danymi strukturalnymi i niestrukturalnymi, w tym treścią dokumentów, metadanymi źródłowymi i danymi po ekstrakcji.
• Doświadczenie w projektowaniu reużywalnych frameworków pipeline’ów dla wielu źródeł, projektów lub domen.
• Swoboda w pracy z danymi strukturalnymi i niestrukturalnymi, w tym treścią dokumentów, metadanymi źródłowymi i danymi po ekstrakcji.
• Znajomość chmurowych usług danych, orkiestracji pipeline’ów, CI/CD i monitoringu.
• Bardzo dobra znajomość języka angielskiego (min. B2) i języka polskiego (min.B2).
• Otwartość na pracę z biura w Krakowie 6 x w miesiącu.

Mile widziane:

• Praktyka w rozwiązaniach AI, LLM- Znajomość RAG.
• Doświadczenie z ontologiami.
• Doświadczenie w środowiskach enterprise.

Codzienne zadania:

• Projektowanie, budowa i utrzymanie pipeline’ów end-to-end.
• Tworzenie reużywalnych konektorów i komponentów dla danych strukturalnych i niestrukturalnych.
• Rozwój modeli danych dla baz relacyjnych, grafowych i NoSQL.
• Rozwój warstwy Knowledge Graph i przekładanie ontologii na modele danych.
• Zapewnienie jakości danych, lineage i provenance.
• Współtworzenie standardów bezpieczeństwa, kontroli dostępów, observability i cyklu życia danych.