Senior Data Engineer

Verita HR; Kraków; Hybrid; PLN 360,000 - 600,000; Full time

Benefits offered by this job

Publiczne opieka zdrowotna

Karta Multisport

Hybd prac

Job summary

Verita HR Group poszukuje Senior Data Engineer’a odpowiedzialnego za projektowanie i utrzymanie potoków danych na skalę produkcyjną. Kandydat pracować będzie nad integracją danych, utrzymaniem jakości danych i optymalizacją zapytań w środowisku mieszanym.

Rola wymaga doświadczenia z bazami grafowymi, NoSQL oraz podejściem do modelowania ontologicznego. Oferujemy pracę hybrydową z biurem w Krakowie i możliwości rozwoju między projektami.

Qualifications

• Wymagane doświadczenie jako Senior Data Engineer, tworzenie produkcyjnych potoków danych.
• Silne umiejętności SQL: złożone transformacje, modelowanie relacyjne i optymalizacja zapytań.
• Doświadczenie w grafach danych oraz ontologiach i modelowaniu relacji między encjami.
• Praktyczne projektowanie modeli NoSQL (partycjonowanie, indeksowanie, trafic consistency).
• Silne umiejętności Pythona do orkestracji, transformacji i testów.

Responsibilities

• Projektowanie, budowanie i uruchamianie end-to-end potoków: od pobierania po publikację.
• Tworzenie ponownych używalnych konektorów i komponentów przetwarzania dla źródeł strukturalnych i nieustrukturyzowanych.
• Zapewnianie spójnych writes i obsługa retry, deduplikacja oraz backfill.
• Projektowanie wzorców ładowania przyrostowego i pełnego w zależności od źródła i zmian.
• Tworzenie modeli danych SQL i transformacji z naciskiem na integralność i wydajność zapytań.
• Projektowanie schematów grafowych i przekładanie koncepcji ontologii na modele szczegółowe.
• Budowanie schematów grafowych ładujących i zapytań z zachowaniem identyfikatorów, relacji i pochodzenia danych.
• Projektowanie modeli NoSQL z uwzględnieniem patternów dostępu, integracja z relacyjnymi i grafowymi źródłami.
• Implementacja kontroli jakości danych, śledzenia pochodzenia i monitoringu operacyjnego.
• Udział w standaryzacji bezpieczeństwa, kontroli dostępu i obserwowalności potoków.
• Współpraca z analitykami, architektami, inżynierami i interesariuszami biznesowymi w przekształcaniu wymagań w projekty techniczne.

Skills

SQL

Python

Graph databases

Knowledge graphs

NoSQL data models

Data pipelines

Data quality

Schema evolution

Data lineage

Cloud data services

CI/CD

Monitoring

Cross-team communication

Tools

Excel

Job description

O projekcie:

• Prestigious position at one of the world’s largest banks
• Stable, long-term projects
• Competitive salary with a B2B contract
• Hybrid work (6 days per month from the office in Cracow)
• Private healthcare and multisport card
• Personal growth and development opportunities with the possibility to rotate between projects

Wymagania:

• Proven experience as a Senior Data Engineer delivering production‑grade data pipelines
• Strong SQL skills: complex transformations, relational modelling, query-plan analysis and optimisation
• Hands‑on experience with graph databases and knowledge graphs, including ontology and entity/relationship modelling
• Practical experience designing NoSQL data models (partitioning, indexing, consistency trade‑offs)
• Strong Python skills (or equivalent) for orchestration, transformation and testing
• Experience building reusable pipeline frameworks across multiple sources or domains
• Good understanding of batch and event‑driven processing, incremental loads, idempotency and backfill strategies
• Experience with structured and unstructured data, including document content and metadata
• Solid knowledge of data quality, schema evolution, lineage and data lifecycle management
• Experience with cloud data services, orchestration tools, CI/CD and monitoring
• Clear communication and experience working across engineering, architecture and business teams

Codzienne zadania:

• Design, build and run end-to-end pipelines covering ingestion, extraction, transformation, enrichment, validation and publication
• Develop reusable connectors and processing components for structured and unstructured sources (APIs and other interfaces)
• Build reliable pipelines with idempotent writes, deduplication, retries, replay, backfills and recovery from partial failures
• Design incremental and full-load patterns suited to each source’s volume and change behaviour
• Develop SQL data models and transformations, with a focus on integrity and query performance
• Design graph schemas and translate ontology concepts into implementable models, mapping source data to the knowledge graph
• Build graph loading and query patterns that preserve identifiers, relationships, provenance and lineage
• Design NoSQL models around access patterns, and integrate relational, graph and NoSQL stores
• Implement data quality controls, lineage tracking and operational monitoring (throughput, freshness, failure rates)
• Help set standards for security, access control, observability and data lifecycle across pipelines
• Contribute to automated testing, schema migrations, CI/CD and production support
• Work with analysts, architects, engineers and business stakeholders to turn source requirements into technical designs