Remote Data Platform Engineer - Kafka & Java

ALGOTEQUE Innovation Hub; Wrocław; Hybrid; PLN 240,000 - 340,000; Part time

Benefits offered by this job

Współpraca B2B

Job summary

ALGOTEQUE Innovation Hub poszukuje specjalisty ds. architektury danych i streamingu w oparciu o Apache Kafka. Zakres obejmuje projektowanie i rozwój rozwiązań event-driven, backend Java/Spring Boot oraz integrację z MongoDB i GraphQL.

Wymagane minimum 3 lata doświadczenia w środowiskach produkcyjnych, dobra znajomość Kafka i narzędzi monitoringu (Prometheus/Grafana/OpenTelemetry). Praca zdalna lub we Wrocławiu, elastyczny model B2B.

Qualifications

• Minimum 3 lata doświadczenia komercyjnego w środowiskach produkcyjnych.
• Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producentów, konsumentów i mechanizmów replikacji.
• Praktyczna znajomość Kafka Streams, kSQL oraz Kafka Connect, w tym konfiguracji i rozwoju konektorów.
• Bardzo dobra znajomość Java i Spring (Spring Boot, Cloud, Security, Data).
• Doświadczenie w pracy z MongoDB, projektowaniu schematów dokumentowych, indeksowaniu i optymalizacji zapytań.
• Doświadczenie w tworzeniu serwisów GraphQL.
• Podstawowa znajomość Apache Iceberg.
• Znajomość Python.
• Doświadczenie z Prometheus, Grafana i OpenTelemetry.
• Znajomość mechanizmów bezpieczeństwa: TLS, SASL, ACL, szyfrowanie danych.
• Doświadczenie w pracy w Scrum/Kanban oraz Jira i Confluence.

Responsibilities

• Projektowanie i rozwój rozwiązań event-driven z wykorzystaniem Apache Kafka, Kafka Connect, Kafka Streams i kSQL.
• Tworzenie mikroserwisów backendowych w Java / Spring Boot obsługujących zdarzenia Kafka.
• Projektowanie i wersjonowanie schematów danych (Avro, Protobuf, JSON Schema).
• Rozwój konektorów Kafka Connect do MongoDB, S3, Apache Iceberg oraz innych systemów.
• Budowa API GraphQL z wykorzystaniem Quarkus/GraalVM i MongoDB.
• Automatyzacja konfiguracji topików, konektorów Kafka Connect, streamów kSQL i aplikacji Kafka Streams.
• Implementacja monitoringu, logowania i distributed tracing z wykorzystaniem Prometheus, Grafana, OpenTelemetry, ELK, Vector, Dynatrace.
• Diagnostyka problemów związanych z replikacją, opóźnieniami i przetwarzaniem zdarzeń oraz optymalizacja konfiguracji Kafki.
• Współpraca w środowisku Scrum/Kanban z Data Engineerami, DevOpsami i analitykami.
• Dokumentowanie rozwiązań i dzielenie się wiedzą w zespole.

Skills

Apache Kafka

Kafka Streams

Kafka Connect

Java

Spring Boot

MongoDB

GraphQL

Python

Prometheus

Grafana

OpenTelemetry

TLS

SASL

Jira

Confluence

Scrum

Tools

Kafka Connect

MongoDB

Job description

ALGOTEQUE Innovation Hub poszukuje specjalisty ds. architektury danych i streamingu w oparciu o Apache Kafka. Zakres obejmuje projektowanie i rozwój rozwiązań event-driven, backend Java/Spring Boot oraz integrację z MongoDB i GraphQL.

Wymagane minimum 3 lata doświadczenia w środowiskach produkcyjnych, dobra znajomość Kafka i narzędzi monitoringu (Prometheus/Grafana/OpenTelemetry). Praca zdalna lub we Wrocławiu, elastyczny model B2B.