Cloud Data Platform Engineer — Kafka/PySpark (AWS)

Aviva; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

Aviva poszukuje Senior Data Engineer, który będzie projektować i utrzymywać pipeline'y ingestii i transformacji danych w chmurze AWS. Praca obejmuje obsługę wielu źródeł danych (API, event streams, batch) oraz onboarding nowych domen danych do platformy ODS przy wykorzystaniu Kafka/MSK, AWS Glue i PySpark.

Wymagane umiejętności obejmują praktyczną znajomość Kafka/MSK, AWS Glue, Python i PySpark, a także CI/CD, monitoring i standardy danych.

Qualifications

• Doświadczenie w budowie i utrzymaniu skalowalnych pipeline'ów danych.
• Praktyczna znajomość Kafka/MSK, AWS Glue, Python i PySpark.
• Doświadczenie w integracji różnych źródeł danych (API, event streams, batch).
• Doświadczenie w pracy z CI/CD, monitoringiem i logowaniem.
• Doświadczenie w pracy z enterprise data models i standardami danych.

Responsibilities

• Projektowanie i utrzymanie skalowalnych pipeline'ów danych.
• Wspieranie istniejących rozwiązań i onboarding nowych domen danych do platformy ODS.
• Współpraca z Tech Leads, architektami, API Engineers i Domain Teams.
• Praca w środowisku AWS i Kafka z zaangażowaniem operacyjnym.

Skills

Pipeline danych

Kafka/MSK

AWS Glue

Python

PySpark

Integracja źródeł danych

CI/CD

Monitoring

Logging

Modele danych enterprise

Tools

Kafka/MSK

AWS Glue

Python

PySpark

Job description

Aviva poszukuje Senior Data Engineer, który będzie projektować i utrzymywać pipeline'y ingestii i transformacji danych w chmurze AWS. Praca obejmuje obsługę wielu źródeł danych (API, event streams, batch) oraz onboarding nowych domen danych do platformy ODS przy wykorzystaniu Kafka/MSK, AWS Glue i PySpark.

Wymagane umiejętności obejmują praktyczną znajomość Kafka/MSK, AWS Glue, Python i PySpark, a także CI/CD, monitoring i standardy danych.