Data Engineer (Kafka / Confluent Cloud)

Upvanta sp. z o.o.; Kraków, Wrocław; On-site; PLN 180,000 - 260,000; Full time

Job summary

Upvanta sp. z o.o. poszukuje Data Engineera do rozwoju platform danych opartych o architekturę event-driven w Krakowie. Do obowiązków należeć będzie projektowanie i utrzymanie rozwiązań z Apache Kafka oraz Confluent Cloud, budowa pipeline'ów i integracja danych.

Wymagane doświadczenie z Kafka, Confluent Cloud, Python i SQL oraz umiejętność pracy w zespole. Mile widziane umiejętności z EDA, CDC, GCP i MongoDB.

Qualifications

• Doświadczenie w pracy z platformami danych i przetwarzaniem strumieniowym.
• Znajomość architektury event-driven i projektowania rozwiązań data-driven.

Responsibilities

• Projektowanie, rozwój i utrzymanie rozwiązań opartych o Apache Kafka oraz Confluent Cloud.
• Tworzenie i rozwijanie pipeline'ów przetwarzania danych w środowiskach rozproszonych.
• Implementacja procesów integracji danych między różnymi systemami.
• Tworzenie, rozwijanie i optymalizacja zapytań SQL oraz procesów transformacji danych.
• Monitorowanie, diagnozowanie i rozwiązywanie problemów związanych z przepływem danych.
• Współpraca z architektami, analitykami i zespołami developerskimi przy projektowaniu rozwiązań data-driven.
• Udział w projektowaniu architektury opartej o zdarzenia (Event-Driven Architecture).

Skills

Apache Kafka

Confluent Cloud

Python

SQL

Przetwarzanie danych

Praca zespołowa

Rozwiązywanie problemów

Job description

Dołącz do zespołu odpowiedzialnego za rozwój nowoczesnych platform danych opartych o architekturę event-driven. Poszukujemy Data Engineera, który będzie wspierać budowę i utrzymanie rozwiązań opartych o Kafka oraz Confluent Cloud, współpracując z zespołami odpowiedzialnymi za integrację danych i rozwój systemów analitycznych.

Zakres obowiązków

• Projektowanie, rozwój i utrzymanie rozwiązań opartych o Apache Kafka oraz Confluent Cloud.
• Tworzenie i rozwijanie pipeline'ów przetwarzania danych w środowiskach rozproszonych.
• Implementacja procesów integracji danych między różnymi systemami.
• Tworzenie oraz optymalizacja skryptów i aplikacji w Pythonie.
• Pisanie, rozwijanie i optymalizacja zapytań SQL oraz procesów transformacji danych.
• Monitorowanie, diagnozowanie i rozwiązywanie problemów związanych z przepływem danych.
• Współpraca z architektami, analitykami i zespołami developerskimi przy projektowaniu rozwiązań data-driven.
• Udział w projektowaniu architektury opartej o zdarzenia (Event-Driven Architecture).

Wymagania

• Komercyjne doświadczenie w pracy z Apache Kafka.
• Praktyczna znajomość Confluent Cloud.
• Bardzo dobra znajomość Pythona.
• Bardzo dobra znajomość SQL.
• Doświadczenie w projektowaniu i utrzymaniu rozwiązań do przetwarzania danych.
• Umiejętność samodzielnego rozwiązywania problemów oraz pracy w środowisku zespołowym.

Mile widziane

• Doświadczenie z Event-Driven Architecture.
• Znajomość narzędzi CDC (Change Data Capture).
• Doświadczenie w pracy z Google Cloud Platform (GCP).
• Znajomość MongoDB.
• Certyfikacja Confluent Cloud lub inne certyfikaty związane z ekosystemem Kafka.