Kafka Data Platform Engineer - Java & Streaming

Algoteque; Wrocław; On-site; PLN 180,000 - 260,000; Full time

Job summary

ALGOTEQUE jest firmą konsultingową IT specjalizującą się w projektowaniu i wdrożeniach rozwiązań streamingowych z użyciem Apache Kafka, MongoDB i GraphQL. Szukamy specjalisty z min.

3 lat doświadczenia do rozwijania platform streamingowych oraz integracji z ekosystemem danych klientów. Do głównych zadań należy projektowanie przepływów danych, topików Kafka, implementacja mikroserwisów w Java/Spring Boot i rozwijanie warstwy GraphQL.

Qualifications

• Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
• Bardzo dobra znajomość Apache Kafka (broker, topic, partycjonowanie, replikacja, schematy).
• Java i Spring / Spring Boot, mile widziane Spring Cloud/Spring Security/Data.
• MongoDB - projektowanie, indeksy i zapytania.
• GraphQL - projektowanie schematów i resolverów.
• Iceberg - struktury tabel i metadata.
• Znajomość Java i Python.
• Znajomość narzędzi observability: Prometheus, Grafana, OpenTelemetry.
• Znajomość bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL.
• Znajomość Scrum/Kanban, Jira, Confluence.
• Umiejętność pracy między analizą a implementacją.

Responsibilities

• Analiza potrzeb biznesowych i technicznych.
• Przekładanie wymagań na specyfikacje i rozwiązania.
• Projektowanie przepływów danych między systemami źródłowymi, Kafka i warstwą ODS.
• Tworzenie dokumentacji use case’ów, user stories i mapowania pól.
• Projektowanie topików Kafka, nazw, partycjonowania i schematów Avro.
• Projektowanie struktur danych w MongoDB, GraphQL i tabel Iceberg.
• Rozwój mikroserwisów w Java/Spring Boot (producentów, konsumentów, przetwarzanie strumieniowe).
• Budowa GraphQL API dla danych z MongoDB.
• Integracja z Kafka Connect i tworzenie własnych SMT/konwerterów.
• Implementacja monitoringu: Prometheus, Grafana, OpenTelemetry, Vector, ELK, Dynatrace.
• Analiza problemów z replikacją, opóźnieniami i jakością danych.
• Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności i kosztów.
• Udział w code review, spotkaniach Agile i warsztatach technicznych.
• Współpraca z Data Engineerami, DevOps i testerami.

Skills

Kafka

Java

Spring Boot

MongoDB

GraphQL

Iceberg

Kafka Streams

kSQL

Kafka Connect

OpenTelemetry

Prometheus

Grafana

Dynatrace

Python

Security TLS/SASL/ACL

Tools

Jira

Confluence

Job description

ALGOTEQUE jest firmą konsultingową IT specjalizującą się w projektowaniu i wdrożeniach rozwiązań streamingowych z użyciem Apache Kafka, MongoDB i GraphQL. Szukamy specjalisty z min.

3 lat doświadczenia do rozwijania platform streamingowych oraz integracji z ekosystemem danych klientów. Do głównych zadań należy projektowanie przepływów danych, topików Kafka, implementacja mikroserwisów w Java/Spring Boot i rozwijanie warstwy GraphQL.