Senior Data Engineer — Graph & Data Pipelines, Hybrid

Verita HR Group; Kraków; Híbrido; PLN 360.000 - 600.000; Tempo integral

Benefícios oferecidos por esta vaga

Publiczne opieka zdrowotna

Karta Multisport

Hybd prac

Resumo da vaga

Verita HR Group poszukuje Senior Data Engineer’a odpowiedzialnego za projektowanie i utrzymanie potoków danych na skalę produkcyjną. Kandydat pracować będzie nad integracją danych, utrzymaniem jakości danych i optymalizacją zapytań w środowisku mieszanym.

Rola wymaga doświadczenia z bazami grafowymi, NoSQL oraz podejściem do modelowania ontologicznego. Oferujemy pracę hybrydową z biurem w Krakowie i możliwości rozwoju między projektami.

Qualificações

• Wymagane doświadczenie jako Senior Data Engineer, tworzenie produkcyjnych potoków danych.
• Silne umiejętności SQL: złożone transformacje, modelowanie relacyjne i optymalizacja zapytań.
• Doświadczenie w grafach danych oraz ontologiach i modelowaniu relacji między encjami.
• Praktyczne projektowanie modeli NoSQL (partycjonowanie, indeksowanie, trafic consistency).
• Silne umiejętności Pythona do orkestracji, transformacji i testów.

Responsabilidades

• Projektowanie, budowanie i uruchamianie end-to-end potoków: od pobierania po publikację.
• Tworzenie ponownych używalnych konektorów i komponentów przetwarzania dla źródeł strukturalnych i nieustrukturyzowanych.
• Zapewnianie spójnych writes i obsługa retry, deduplikacja oraz backfill.
• Projektowanie wzorców ładowania przyrostowego i pełnego w zależności od źródła i zmian.
• Tworzenie modeli danych SQL i transformacji z naciskiem na integralność i wydajność zapytań.
• Projektowanie schematów grafowych i przekładanie koncepcji ontologii na modele szczegółowe.
• Budowanie schematów grafowych ładujących i zapytań z zachowaniem identyfikatorów, relacji i pochodzenia danych.
• Projektowanie modeli NoSQL z uwzględnieniem patternów dostępu, integracja z relacyjnymi i grafowymi źródłami.
• Implementacja kontroli jakości danych, śledzenia pochodzenia i monitoringu operacyjnego.
• Udział w standaryzacji bezpieczeństwa, kontroli dostępu i obserwowalności potoków.
• Współpraca z analitykami, architektami, inżynierami i interesariuszami biznesowymi w przekształcaniu wymagań w projekty techniczne.

Conhecimentos

SQL

Python

Graph databases

Knowledge graphs

NoSQL data models

Data pipelines

Data quality

Schema evolution

Data lineage

Cloud data services

CI/CD

Monitoring

Cross-team communication

Ferramentas

Excel

Descrição da vaga

Verita HR Group poszukuje Senior Data Engineer’a odpowiedzialnego za projektowanie i utrzymanie potoków danych na skalę produkcyjną. Kandydat pracować będzie nad integracją danych, utrzymaniem jakości danych i optymalizacją zapytań w środowisku mieszanym.

Rola wymaga doświadczenia z bazami grafowymi, NoSQL oraz podejściem do modelowania ontologicznego. Oferujemy pracę hybrydową z biurem w Krakowie i możliwości rozwoju między projektami.