Senior Data Engineer

Aviva; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

Aviva poszukuje Senior Data Engineer, który będzie projektować i utrzymywać pipeline'y ingestii i transformacji danych w chmurze AWS. Praca obejmuje obsługę wielu źródeł danych (API, event streams, batch) oraz onboarding nowych domen danych do platformy ODS przy wykorzystaniu Kafka/MSK, AWS Glue i PySpark.

Wymagane umiejętności obejmują praktyczną znajomość Kafka/MSK, AWS Glue, Python i PySpark, a także CI/CD, monitoring i standardy danych.

Qualifications

• Doświadczenie w budowie i utrzymaniu skalowalnych pipeline'ów danych.
• Praktyczna znajomość Kafka/MSK, AWS Glue, Python i PySpark.
• Doświadczenie w integracji różnych źródeł danych (API, event streams, batch).
• Doświadczenie w pracy z CI/CD, monitoringiem i logowaniem.
• Doświadczenie w pracy z enterprise data models i standardami danych.

Responsibilities

• Projektowanie i utrzymanie skalowalnych pipeline'ów danych.
• Wspieranie istniejących rozwiązań i onboarding nowych domen danych do platformy ODS.
• Współpraca z Tech Leads, architektami, API Engineers i Domain Teams.
• Praca w środowisku AWS i Kafka z zaangażowaniem operacyjnym.

Skills

Pipeline danych

Kafka/MSK

AWS Glue

Python

PySpark

Integracja źródeł danych

CI/CD

Monitoring

Logging

Modele danych enterprise

Tools

Kafka/MSK

AWS Glue

Python

PySpark

Job description

Aviva buduje korporacyjny Operational Data Store w chmurze AWS; jako Senior Data Engineer będziesz projektować i utrzymywać pipeline'y ingestii i transformacji danych z użyciem Kafki (MSK), AWS Glue, Pythona i PySpark. Rola obejmuje zarówno budowę nowych rozwiązań, jak i wsparcie istniejących, a także onboarding nowych domen danych do platformy ODS według powtarzalnych, metadata-driven wzorców. To oferta dla inżyniera, który lubi pracę z wieloma źródłami danych (API, event streams, batch) i nie boi się odpowiedzialności operacyjnej. Uwaga: onboarding nowych domen może oznaczać pracę z przestarzałymi lub słabo udokumentowanymi danymi, a współpraca z szerokim gronem interesariuszy (Tech Leads, architekci, API Engineers, Domain Teams) może wydłużać procesy decyzyjne.

• doświadczenie w budowie i utrzymaniu skalowalnych pipeline'ów danych
• praktyczna znajomość Kafka/MSK, AWS Glue, Python i PySpark
• doświadczenie w integracji różnych źródeł danych (API, event streams, batch)
• doświadczenie w pracy z CI/CD, monitoringiem i logowaniem
• doświadczenie w pracy z enterprise data models i standardami danych