Kafka SRE

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Model hybrydowy

Feedback rekrutacyjny

Job summary

Clurgo to firma stworzona przez deweloperów dla deweloperów. Dołączasz do projektu dla dużej organizacji, odpowiadając za zarządzanie i rozwój platformy Apache Kafka działającej w Kubernetes, zapewniając stabilność klastrów w środowisku produkcyjnym.

Specjalizujesz się w brokerach, ZooKeeper/KRaft, Kafka Connect i Schema Registry, a także w monitorowaniu i automatyzacji operacyjnej. Oferujemy hybrydowy model pracy w Krakowie i profesjonalny proces rekrutacyjny z feedbackiem na każdym etapie.

Qualifications

• Doświadczenie z Apache Kafka i Confluent Kafka
• Znajomość Kubernetes i ekosystemu Kafka
• Monitorowanie i obserwowalność systemów (Prometheus, Grafana, Splunk)
• Automatyzacja operacyjna i Infrastructure as Code
• Swoboda komunikacji w języku angielskim

Responsibilities

• Zarządzanie i utrzymanie platformy Apache Kafka w Kubernetes
• Zapewnianie stabilności, bezpieczeństwa i niezawodności klastrów Kafka w środowisku produkcyjnym
• Dostarczanie ekspertyzy w zakresie ekosystemu Kafka: brokerzy, ZooKeeper/KRaft, Kafka Connect, Schema Registry
• Wdrażanie, konfiguracja i utrzymanie komponentów Kafka na Kubernetes: skalowanie, aktualizacje, rozwiązywanie problemów
• Administracja platformą Kafka, provisioning topiców i zarządzanie uprawnieniami
• Konfiguracja i utrzymanie konektorów Kafka Connect (MQ, Splunk, MongoDB, Google Cloud Pub/Sub)
• Zarządzanie komponentami Kafka Connect (workers, tasks, converters, SMTs)
• Wdrożenie monitoringu i alertowania dla pełnej obserwowalności
• Automatyzacja zadań operacyjnych skryptami i narzędziami IaC
• Benchmarking, tuning i analiza wydajności dla skalowalności
• Analiza przyczyn incydentów i działania zapobiegawcze
• Identyfikacja obszarów do ulepszeń w klastrach i topicach Kafka
• Współpraca z globalnym zespołem inżynierskim i interesariuszami technicznymi

Skills

Doświadczony inżynier Kafka

Znajomość Kubernetes

Monitorowanie i observability

Automatyzacja operacyjna

Komunikacja po angielsku

Tools

Apache Kafka

Confluent Kafka

Kubernetes

ZooKeeper

KRaft

Kafka Connect

Schema Registry

Prometheus

Grafana

Splunk

GitHub

Jenkins

MQ

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu realizowanego dla dużej organizacji, w którym będziesz odpowiadać za zarządzanie i rozwój platformy Apache Kafka działającej w środowisku Kubernetes. To rola dla doświadczonego inżyniera, który doskonale rozumie architekturę Kafki, potrafi zapewnić stabilność i wydajność klastrów produkcyjnych oraz automatyzować procesy operacyjne.

Technologie i narzędzia: Apache Kafka, Confluent Kafka, Kubernetes, ZooKeeper, KRaft, Kafka Connect, Schema Registry, MQ, Splunk, MongoDB, Google Cloud Pub/Sub, Prometheus, Grafana, GitHub, JIRA, Confluence, Jenkins, Infrastructure as Code

Szukamy Ciebie, jeśli:

• masz praktyczne doświadczenie w pracy zApache Kafka i Confluent Kafka
• znasz praktyczne aspekty pracy z Kubernetes
• znasz narzędzia DevOps, takie jak GitHub i Jenkins
• masz doświadczenie w monitorowaniu i zapewnianiu obserwowalności systemów z wykorzystaniem narzędzi takich jak Prometheus, Grafana lub Splunk
• rozumiesz architekturę Kafka i zagadnienia związane z niezawodnością, wydajnością oraz skalowalnością platform przetwarzania strumieni danych
• potrafisz analizować problemy produkcyjne, identyfikować ich przyczyny źródłowe i wdrażać rozwiązania zapobiegające ich ponownemu wystąpieniu
• masz doświadczenie w automatyzacji zadań operacyjnych i pracy zgodnie z podejściem Infrastructure as Code
• swobodnie komunikujesz się w języku angielskim

Zadania:

• zarządzanie i utrzymanie platformy Apache Kafka działającej w środowisku Kubernetes
• zapewnianie stabilności, bezpieczeństwa i niezawodności klastrów Kafka w środowisku produkcyjnym
• dostarczanie eksperckiej wiedzy technicznej w zakresie ekosystemu Kafka, w tym brokerów, ZooKeeper/KRaft, Kafka Connect i Schema Registry
• wdrażanie, konfiguracja i utrzymanie komponentów Kafka na platformie Kubernetes, w tym skalowanie, aktualizacje oraz rozwiązywanie problemów
• kompleksowa administracja platformą Kafka, w tym provisionowanie topiców i zarządzanie uprawnieniami (role bindings)
• konfiguracja, wdrażanie i utrzymanie konektorów Kafka Connect, m.in. dla MQ, Splunk, MongoDB i Google Cloud Pub/Sub
• zarządzanie komponentami Kafka Connect, takimi jak workers, tasks, converters i SMTs (transforms)
• wdrażanie monitoringu i alertowania w celu zapewnienia pełnej obserwowalności platformy oraz szybkiego wykrywania nieprawidłowości
• automatyzacja zadań operacyjnych i utrzymaniowych z wykorzystaniem skryptów oraz narzędzi automatyzacyjnych
• przeprowadzanie benchmarków, analiza wydajności i tuning platformy w celu zapewnienia skalowalności oraz efektywnego przetwarzania danych
• prowadzenie analizy przyczyn źródłowych incydentów produkcyjnych, dokumentowanie wniosków i wdrażanie działań zapobiegawczych
• identyfikowanie obszarów wymagających usprawnień oraz wdrażanie zmian i rekomendowanych poprawek w klastrach i topicach Kafka
• współpraca z globalnym zespołem inżynierskim oraz interesariuszami technicznymi

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• modelu hybrydowego - 6 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego - zawsze otrzymasz od nas feedback niezależnie od decyzji