Kafka Engineer

ITLT; Wrocław; On-site; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Duża swoboda pracy zdalnej

Długofalowe stabilne zatrudnienie

Udział w kluczowych projektach dla duż

Job summary

ITLT w Polsce poszukuje inżyniera Kafka do projektowania i utrzymania hybrydowego środowiska Kafka łączącego on-prem z AWS. Praca z Confluent Platform, MirrorMaker 2 oraz MSK/EKS, a także CI/CD i IaC w Terraform.

Dołączysz do zespołu Data Platform, wspierasz migracje i replikacje danych oraz zapewnisz niskie opóźnienia i wysoką spójność. Praca zdalna z okazjonalną wizytą w biurze we Wrocławiu.

Qualifications

• Minimum 4 lata doświadczenia z Apache Kafka.
• Bardzo dobra znajomość Confluent Platform (Enterprise) oraz Confluent Cloud.
• Doświadczenie w migracji i replikacji klastrów Kafka (MirrorMaker 2 / Cluster Linking / Confluent Replicator).
• Praktyczna znajomość AWS (VPC / IAM / EC2 / EKS / MSK / S3 / KMS / Secrets Manager).
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-prem AWS.
• Doświadczenie z Terraform i Ansible, w tym moduły, wersjonowanie, testy planów; mile widziane Terratest i tfsec.
• Doświadczenie z CI/CD (GitHub Actions, GitLab CI, Jenkins).
• Programowanie/scripting: Python, Ansible, Bash.
• Automatyzacja testów integracyjnych dla Kafka.
• Znajomość security w Kafka: TLS, SASL, ACL, RBAC, szyfrowanie danych.

Responsibilities

• Projektowanie i rozwój hybrydowej architektury Kafka on-prem AWS.
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry, Flink, Control Center, Tableflow).
• Budowa i konfiguracja środowiska Kafka w AWS (MSK, EKS).
• Implementacja replikacji i synchronizacji danych między klastrami on-prem i AWS.
• Konfiguracja MirrorMaker 2 / Cluster Linking / Confluent Replicator.
• Utrzymanie spójności danych i niskich opóźnień w replikacji.
• Projektowanie i wdrażanie CI/CD dla Kafki, schematów i aplikacji konsumenckich.
• Tworzenie i utrzymanie Infrastructure-as-Code w Terraform.
• Automatyzacja wdrożeń, testów i infrastruktury.
• Monitorowanie i observability: Prometheus, Grafana, Control Center, OpenTelemetry, Elastic.
• Tworzenie runbooków, alertów i SLA/SLO.
• Rozwiązywanie incydentów i problemów technicznych.
• Optymalizacja wydajności i tuning konfiguracji Kafka.
• Współpraca z Data Platform, Data Engineering, DevOps i Security.
• Mentoring inżynierów.

Skills

Apache Kafka

Confluent Platform

AWS

Terraform

Ansible

CI/CD

Python

Bash

Tools

Confluent Cloud

MirrorMaker 2

Cluster Linking

Confluent Replicator

MSK

EKS

GitHub Actions

GitLab CI

Jenkins

Prometheus

Grafana

Job description

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość.

Z nastawieniem na wyzwania, ciekawość technologii i zwinność - współtworzymy wyjątkowe rozwiązania IT.

Aktualnie poszukujemy osób na stanowisko: Kafka Engineer

• Miejsce pracy/praca zdalna: Zapewniamy dużą swobodę pracy zdalnej, przy czym zapraszamy 1 dzień w miesiącu do wrocławskiego biura
• Wymiar pracy: Fulltime
• Projekt: Budowa hybrydowego środowiska Kafka łączącego klastry on-premise i AWS
• Zespół: Data Platform - Data Engineers, DevOps, Security
• Proces rekrutacji:1-etapowy (spotkanie zdalne via MS Teams). Sporadycznie możliwe dodatkowe krótkie spotkanie - połączone z decyzją
• Szacowany czas trwania projektu: Długoterminowy/bezterminowy
• Czas pracy/Strefa czasowa: Standardowe polskie godziny pracy

Do Twoich głównych obowiązków na tym stanowisku należeć będzie:

Projektowanie i rozwój hybrydowej architektury Kafka on-prem AWS

Dobór i konfiguracja komponentów Confluent Platform (m.in.:Schema Registry / Flink / Control Center / Tableflow)

Budowa i konfiguracja środowiska Kafka w AWS, w tym MSK, EKS i powiązanych usług

Implementacja replikacji i synchronizacji danych pomiędzy klastrami on-prem i AWS

Konfiguracja i utrzymanie MirrorMaker 2 / Cluster Linking / Confluent Replicator

Zapewnienie spójności danych oraz niskich opóźnień podczas replikacji

Projektowanie i wdrażanie CI/CD dla Kafki, schematów oraz aplikacji konsumenckich

Tworzenie i utrzymanie Infrastructure-as-Code w Terraform

Automatyzacja wdrożeń, testów oraz infrastruktury

Implementacja i utrzymanie monitoringu oraz observability - Prometheus, Grafana, Control Center, OpenTelemetry, Elastic

Tworzenie runbooków, alertów oraz SLA/SLO

Rozwiązywanie incydentów i problemów technicznych podczas budowy oraz utrzymania rozwiązania

Optymalizacja wydajności i tuning konfiguracji Kafka

Współpraca z zespołem Data Platform, Data Engineering, DevOps i Security

Mentoring mniej doświadczonych inżynierów i prowadzenie warsztatów technicznych

Ta oferta będzie idealna dla Ciebie, jeśli posiadasz:

• Minimum 4 lata doświadczenia z Apache Kafka
• Bardzo dobrą znajomość Confluent Platform (Enterprise) oraz Confluent Cloud
• Doświadczenie wmigracji i replikacji klastrów Kafka (w szczególności:MirrorMaker 2 / Cluster LinkingC / Confluent Replicator)
• Praktyczną znajomość AWS (w tym: VPC / IAM / EC2 / EKS / MSK / S3 / KMS / Secrets Manager)
• Doświadczenie w budowie i utrzymaniuśrodowisk hybrydowych on-prem AWS
• Doświadczenie z Terraform - tworzenie modułów, wersjonowanie, testowanie planów (mile widziane Terratest i tfsec) oraz Ansible
• Doświadczenie zCI/CD (GitHub Actions, GitLab CI lub Jenkins)
• Programowanie / scripting:Python, Ansible, Bash
• Automatyzacjatestów integracyjnych dla Kafka
• Znajomość security w Kafka: (TLS, SASL, ACL, RBAC, szyfrowanie danych at rest / in transit

Warto do nas dołączyć, ponieważ oferujemy:

• Dużą swobodę pracy zdalnej
• Długofalowe stabilne zatrudnienie
• Szansę na uczestniczenie w kluczowych projektach dla dużej firmy działającej w bardzo stabilnym sektorze
• Atrakcyjne wynagrodzenie (adekwatne do umiejętności i doświadczenia)

W razie pytań pingnij śmiało na Linkedin'ie do Kuby