Senior Data Engineer

Solid Company; Kraków; Hybrid; PLN 180,000 - 280,000; Full time

Job summary

Solid Company poszukuje doświadczonego Data Engineera do projektowania i utrzymania zaawansowanych pipeline'ów do przetwarzania danych w międzynarodowym środowisku bankowym.

Rola koncentruje się na pracy hands-on, tworzeniu wydajnych modeli danych i integracji z systemami źródłowymi, z naciskiem na jakość danych, data lineage oraz CI/CD.

Qualifications

• Wieloletnie doświadczenie komercyjne jako Data Engineer / Senior Data Engineer.
• Bardzo dobra znajomość Pythona i SQL.
• Doświadczanie z bazami grafowymi lub knowledge graphs (Neo4j, Neptune, JanusGraph).
• Doświadczenie w projektowaniu i rozwijaniu produkcyjnych pipeline'ów ETL/ELT.
• Dobra znajomość modelowania danych w relacyjnych i NoSQL bazach.
• Znajomość jakości danych, data lineage i niezawodności przetwarzania.
• Doświadczenie w chmurze, orkiestracji danych i CI/CD.

Responsibilities

• Projektowanie, rozwój i utrzymanie pipeline'ów do ingestowania, transformacji i przetwarzania danych (ustrukturyzowanych i nieustrukturyzowanych).
• Projektowanie i optymalizacja modeli danych w relacyjnych, grafowych i NoSQL bazach; praca z knowledge graphs.
• Tworzenie reużywalnych komponentów przetwarzania danych i integracji ze źródłami oraz API.
• Implementacja jakości danych, walidacji i data lineage.
• Zapewnianie niezawodności i skalowalności pipeline'ów: przetwarzanie przyrostowe, obsługa błędów, retry i odzyskiwanie danych.
• Współpraca z architektami, inżynierami i biznesem w przekładaniu wymagań na rozwiązania techniczne.
• Automatyzacja testów, CI/CD, monitorowanie i doskonalenie rozwiązań Data Engineering.

Skills

Python

SQL

Knowledge graphs

ETL/ELT pipelines

Data modeling

Analytical thinking

Tools

Neo4j

Amazon Neptune

JanusGraph

Job description

Zakres obowiązków:

• Projektowanie, rozwój i utrzymanie skalowalnych pipeline'ów do ingestowania, transformacji, wzbogacania i przetwarzania danych ustrukturyzowanych oraz nieustrukturyzowanych.
• Projektowanie i optymalizacja modeli danych w relacyjnych, grafowych i NoSQL bazach; praca z knowledge graphs.
• Modelowanie encji i relacji oraz wydajne ładowanie i odpytywanie danych.
• Tworzenie reużywalnych komponentów przetwarzania danych i integracji ze źródłami oraz API.
• Wdrażanie jakości danych, walidacji, data lineage i provenance.
• Zapewnianie niezawodności i skalowalności pipeline'ów: przetwarzanie przyrostowe, obsługa błędów, ponawianie operacji i odzyskiwanie danych.
• Współpraca z architektami, inżynierami i biznesem przy przekładaniu wymagań na rozwiązania techniczne.
• Automatyzacja testów, CI/CD, monitorowanie i doskonalenie rozwiązań Data Engineering.

Projekt i współpraca:

• Rozwój zaawansowanej Enterprise Knowledge Platform w międzynarodowym środowisku bankowym.
• Projekt wykorzystuje technologie grafowe, nowoczesne architektury danych i rozwiązania do zarządzania wiedzą.
• Rola hands-on, skoncentrowana na wyzwaniach inżynierskich, bez zarządzania zespołem.

Kogo poszukujemy?

Wymagania kluczowe:

• Kilkuletnie doświadczenie komercyjne jako Data Engineer, Senior Data Engineer lub na podobnym stanowisku.
• Bardzo dobra znajomość Pythona i SQL.
• Praktyczne doświadczenie z grafowymi bazami danych lub knowledge graphs, np. Neo4j, Amazon Neptune, JanusGraph lub podobnymi.
• Doświadczenie w projektowaniu i rozwijaniu produkcyjnych pipeline'ów ETL/ELT.
• Dobra znajomość modelowania danych w relacyjnych i NoSQL bazach.
• Doświadczenie z danymi ustrukturyzowanymi i nieustrukturyzowanymi.
• Znajomość jakości danych, data lineage, ewolucji schematów i niezawodności przetwarzania.
• Doświadczenie ze środowiskami chmurowymi, orkiestracją danych i CI/CD.
• Samodzielne rozwiązywanie złożonych problemów technicznych, dobre umiejętności komunikacyjne i współpraca.

Mile widziane:

• Doświadczenie z ontologiami, RDF, SPARQL lub technologiami semantycznymi.
• Znajomość języków zapytań grafowych, np. Cypher lub Gremlin.
• Doświadczenie w budowaniu platform zarządzania wiedzą lub metadanymi.
• Doświadczenie w sektorze bankowym, finansowym lub innych środowiskach regulowanych.