Kafka Engineer

Edge One Solutions; Poland; Hybrid; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Szkolenia certyfikaty konferencje

Pakiet zdrowotny

Work-life balance

Job summary

Edge One Solutions poszukuje doświadczonego inżyniera Apache Kafka, by dołączył do długoterminowego projektu z obszaru Data Platform. Będziesz budować nowoczesne środowisko Kafka łączące on-premise z AWS, migrować klastery i dbać o wysoką dostępność.

Wymagana jest co najmniej 4 lata pracy z Apache Kafka, dobra znajomość Confluent Platform i Confluent Cloud, oraz doświadczenie w CI/CD i IaC (Terraform). Praca zdalna z okazjonalnymi wizytami w biurze we Wrocławiu.

Qualifications

• Minimum 4 lata doświadczenia w Apache Kafka.
• Dobra znajomość Confluent Platform (Enterprise) oraz Confluent Cloud.
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
• Praktyczna znajomość usług AWS: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets Manager.
• Doświadczenie w projektowaniu i utrzymaniu środowisk hybrydowych.
• Bardzo dobra znajomość Terraform (moduły, Terratest, tfsec).
• Znajomość Ansible.
• Doświadczenie w pipeline'ach CI/CD (GitHub Actions, GitLab CI, Jenkins).
• Automatyzacja testów integracyjnych dla Apache Kafka.
• Dobra znajomość Python, Bash oraz Ansible.
• Znajomość Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack.
• Znajomość TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku i podczas transmisji.
• Praca w Scrum/Kanban; Jira i Confluence.

Responsibilities

• Projektowanie hybrydowej topologii Apache Kafka (on-premise AWS).
• Dobór, konfiguracja oraz rozwój komponentów Confluent Platform (Schema Registry, Flink, Control Center, Tableflow).
• Tworzenie i konfiguracja klastrów Kafka (Amazon MSK oraz Confluent Cloud) z infrastrukturą.
• Implementacja monitoringu (Prometheus, Grafana).
• Konfiguracja MirrorMaker 2, Cluster Linking i Confluent Replicator.
• Gwarantowanie spójności danych i niskich opóźnień między środowiskami.
• Tworzenie i rozwijanie pipeline’ów CI/CD dla Kafka, schematów i aplikacji konsumenckich.
• Infrastructure as Code z Terraform: wersjonowanie, testy planów, automatyczne wdrożenia.
• Tworzenie i utrzymywanie runbooków, alertów i SLA/SLO.
• Rozwiązywanie incydentów, optymalizacja wydajności i tuning konfiguracji.
• Ścisła współpraca z Data Engineering, DevOps i Security.
• Mentoring młodszych członków oraz prowadzenie warsztatów technicznych.

Skills

Kafka

Confluent Platform

Confluent Cloud

AWS

Terraform

Ansible

CI/CD

Prometheus

Grafana

OpenTelemetry

Elastic Stack

TLS/SASL/RBAC

Jira/Confluence

Tools

MirrorMaker 2

Cluster Linking

Confluent Replicator

Jenkins

GitHub Actions

GitLab CI

Terratest

Terraform (moduły)

Job description

Nasz Klient to jeden z wiodących banków uniwersalnych w Polsce, należący do międzynarodowej grupy finansowej. Organizacja oferuje kompleksowe usługi bankowe dla klientów indywidualnych oraz biznesowych, rozwijając nowoczesne rozwiązania w obszarze bankowości codziennej, finansowania i systemów płatniczych.

Poszukujemy doświadczonego Kafka Engineera, który dołączy do długoterminowego projektu realizowanego w obszarze Data Platform. Osoba na tym stanowisku będzie odpowiedzialna za budowę nowoczesnego, hybrydowego środowiska Kafka łączącego klastry on-premise z infrastrukturą AWS.

Model współpracy

Świadczenie usług odbywa się w trybie zdalnym (1 wizyta w biurze we Wrocławiu w miesiącu)

Realizację projektu ułatwi Ci

• Minimum 4 lata doświadczenia w pracy z Apache Kafka
• Bardzo dobra znajomość Confluent Platform (Enterprise) oraz Confluent Cloud
• Doświadczenie w migracji i replikacji klastrów z wykorzystaniem: MirrorMaker 2, Cluster Linking, Confluent Replicator
• Praktyczna znajomość usług AWS: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets Manager
• Doświadczenie w projektowaniu i utrzymaniu środowisk hybrydowych
• Bardzo dobra znajomość Terraform (tworzenie modułów, testy z wykorzystaniem Terratest oraz tfsec)
• Znajomość Ansible
• Doświadczenie w budowie i utrzymaniu pipeline'ów CI/CD z wykorzystaniem GitHub Actions, GitLab CI lub Jenkins
• Doświadczenie w automatyzacji testów integracyjnych dla Apache Kafka
• Dobra znajomość Python, Bash oraz Ansible
• Doświadczenie z narzędziami monitoringu i observability: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack
• Znajomość zagadnień bezpieczeństwa obejmujących: TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz podczas transmisji
• Doświadczenie w pracy w metodykach Scrum lub Kanban oraz znajomość Jira i Confluence

Twój wkład do projektu

• Projektowanie hybrydowej topologii Apache Kafka (on-premise AWS)
• Dobór, konfiguracja oraz rozwój komponentów Confluent Platform, w tym: Schema Registry, Flink, Control Center, Tableflow
• Tworzenie i konfiguracja klastrów Kafka (Amazon MSK oraz Confluent Cloud) wraz z niezbędną infrastrukturą
• Implementacja monitoringu z wykorzystaniem Prometheus i Grafana
• Konfiguracja oraz utrzymanie MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Zapewnienie wysokiej spójności danych oraz niskich opóźnień podczas transferu pomiędzy środowiskami
• Tworzenie i rozwój pipeline'ów CI/CD (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów oraz aplikacji konsumenckich
• Implementacja Infrastructure as Code z wykorzystaniem Terraform, obejmująca wersjonowanie, testowanie planów oraz automatyczne wdrożenia
• Tworzenie i utrzymywanie runbooków operacyjnych, alertów oraz wskaźników SLA/SLO
• Rozwiązywanie incydentów, optymalizacja wydajności środowiska oraz tuning konfiguracji
• Ścisła współpraca z zespołami Data Engineering, DevOps oraz Security
• Mentoring mniej doświadczonych członków zespołu oraz prowadzenie warsztatów technicznych

Tak o Ciebie zadbamy

Dołączając do Edge One Solutions, otrzymujesz pełne wsparcie w rozwoju zawodowym i osobistym, co daje Ci realną szansę na budowanie kariery zgodnie z własnymi celami.

• Zyskujesz indywidualne wsparcie Service Delivery Managera, który pomoże Ci zaplanować ścieżkę kariery i zadba o Twój komfort i satysfakcję z pracy w projekcie
• Szkolenia, certyfikaty i konferencje - dofinansowujemy lub w pełni pokrywamy koszty rozwoju kompetencji technicznych
• #SmartChange – umożliwiamy zmianę projektu i dobieramy kolejny zgodnie z Twoimi preferencjami
• Dbamy o Twój work-life balance, dlatego poza pracą oferujemy wyjścia integracyjne, aktywności sportowe i inspirujące webinary #edge1talks, które rozwijają i łączą ludzi.
• Aktywność fizyczna – wspieramy sportowe inicjatywy i wynajem sal treningowych
• Pakiet zdrowotny – prywatna opieka, karta sportowa, ubezpieczenie i wsparcie psychologiczne

Nie spełniasz wszystkich wymagań, a projekt Cię zainteresował? Nie wahaj się i aplikuj. Porozmawiajmy!