Programista-Analityk Data Platform | Kafka | B2B

Algoteque; Wrocław; On-site; PLN 180,000 - 260,000; Full time

Job summary

ALGOTEQUE jest firmą konsultingową IT specjalizującą się w projektowaniu i wdrożeniach rozwiązań streamingowych z użyciem Apache Kafka, MongoDB i GraphQL. Szukamy specjalisty z min.

3 lat doświadczenia do rozwijania platform streamingowych oraz integracji z ekosystemem danych klientów. Do głównych zadań należy projektowanie przepływów danych, topików Kafka, implementacja mikroserwisów w Java/Spring Boot i rozwijanie warstwy GraphQL.

Qualifications

• Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
• Bardzo dobra znajomość Apache Kafka (broker, topic, partycjonowanie, replikacja, schematy).
• Java i Spring / Spring Boot, mile widziane Spring Cloud/Spring Security/Data.
• MongoDB - projektowanie, indeksy i zapytania.
• GraphQL - projektowanie schematów i resolverów.
• Iceberg - struktury tabel i metadata.
• Znajomość Java i Python.
• Znajomość narzędzi observability: Prometheus, Grafana, OpenTelemetry.
• Znajomość bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL.
• Znajomość Scrum/Kanban, Jira, Confluence.
• Umiejętność pracy między analizą a implementacją.

Responsibilities

• Analiza potrzeb biznesowych i technicznych.
• Przekładanie wymagań na specyfikacje i rozwiązania.
• Projektowanie przepływów danych między systemami źródłowymi, Kafka i warstwą ODS.
• Tworzenie dokumentacji use case’ów, user stories i mapowania pól.
• Projektowanie topików Kafka, nazw, partycjonowania i schematów Avro.
• Projektowanie struktur danych w MongoDB, GraphQL i tabel Iceberg.
• Rozwój mikroserwisów w Java/Spring Boot (producentów, konsumentów, przetwarzanie strumieniowe).
• Budowa GraphQL API dla danych z MongoDB.
• Integracja z Kafka Connect i tworzenie własnych SMT/konwerterów.
• Implementacja monitoringu: Prometheus, Grafana, OpenTelemetry, Vector, ELK, Dynatrace.
• Analiza problemów z replikacją, opóźnieniami i jakością danych.
• Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności i kosztów.
• Udział w code review, spotkaniach Agile i warsztatach technicznych.
• Współpraca z Data Engineerami, DevOps i testerami.

Skills

Kafka

Java

Spring Boot

MongoDB

GraphQL

Iceberg

Kafka Streams

kSQL

Kafka Connect

OpenTelemetry

Prometheus

Grafana

Dynatrace

Python

Security TLS/SASL/ACL

Tools

Jira

Confluence

Job description

ALGOTEQUE is an IT consultancy firm that helps startups, mid-sized and large corporations to create and deliver innovative technologies.
Our team has a successful track record in designing, developing, implementing, and integrating software solutions (AI, ML, BI, Web, Automation) for Telecom, Energy, Bank, Insurance, Pharma, Automotive, Industry, e-commerce. We deliver our services both in fixed-price and time-and-materials models, helping our customers achieve their business and IT strategies.

Le poste :

Do zespołu Data Platform poszukujemy osoby łączącej kompetencje programistyczne i analityczne. Rola obejmuje zarówno tworzenie nowoczesnych rozwiązań opartych na Apache Kafka, Spring Boot, MongoDB, GraphQL i Apache Iceberg, jak również analizę wymagań, modelowanie danych oraz współpracę z interesariuszami i zespołami IT.Celem jest rozwój platformy streamingowej oraz rozwiązań wspierających sprawny przepływ i udostępnianie danych pomiędzy systemami źródłowymi, platformą streamingową i warstwą ODS.

Zakres projektu

• Analiza potrzeb biznesowych i technicznych we współpracy z analitykami oraz zespołami IT.
• Przekładanie wymagań na specyfikacje funkcjonalne i techniczne oraz konkretne rozwiązania.
• Projektowanie przepływów i modeli danych pomiędzy systemami źródłowymi, Apache Kafka oraz warstwą ODS.
• Tworzenie dokumentacji, w tym use case'ów, user stories, diagramów danych oraz mapowania pól.
• Projektowanie topików Kafka, w tym zasad nazewnictwa, partycjonowania i schematów Avro.
• Projektowanie struktur danych w MongoDB, modeli GraphQL oraz tabel Apache Iceberg.
• Rozwijanie mikroserwisów w Java / Spring Boot, obejmujących m.in. producentów, konsumentów i przetwarzanie strumieniowe.
• Budowa oraz rozwój warstwy GraphQL udostępniającej dane z MongoDB.
• Konfiguracja i rozwój integracji z wykorzystaniem Kafka Connect.
• Tworzenie własnych Single Message Transforms (SMT) oraz konwerterów danych.
• Implementacja mechanizmów monitoringu i observability z wykorzystaniem Prometheus, Grafana, OpenTelemetry, Vector, ELK oraz Dynatrace.
• Analiza i rozwiązywanie problemów związanych z replikacją, opóźnieniami oraz jakością i spójnością danych.
• Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności oraz kosztów.
• Udział w code review, warsztatach technicznych i dzieleniu się wiedzą.
• Współpraca z Data Engineerami, DevOpsami, analitykami oraz testerami w środowisku Agile.
• Udział w spotkaniach projektowych raz w miesiącu we Wrocławiu.

Profil recherché :

• Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
• Bardzo dobra znajomość Apache Kafka, w szczególności brokerów, topiców, partycjonowania, replikacji i schematów.
• Biegłość w Kafka Streams oraz kSQL.
• Doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno z wykorzystaniem gotowych konektorów, jak i własnych rozszerzeń.
• Bardzo dobra znajomość Javy oraz Spring / Spring Boot, mile widziane doświadczenie z Spring Cloud, Spring Security i Spring Data.
• Doświadczenie w projektowaniu oraz optymalizacji baz MongoDB, w tym schematów dokumentowych, indeksów i zapytań.
• Znajomość GraphQL – projektowanie schematów i implementacja resolverów.
• Podstawowa znajomość Apache Iceberg, w szczególności struktury tabel i zarządzania metadanymi.
• Znajomość Java i Python.
• Doświadczenie z narzędziami observability, w szczególności Prometheus, Grafana i OpenTelemetry.
• Znajomość mechanizmów bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL oraz szyfrowanie danych w tranzycie i spoczynku.
• Znajomość Scrum or Kanban oraz narzędzi takich jak Jira i Confluence.
• Umiejętność swobodnego poruszania się pomiędzy obszarem analizy, projektowania rozwiązania i jego implementacji.
• Komunikatywność i umiejętność współpracy z osobami o profilu biznesowym oraz technicznym.