Kafka Engineer

Relout; Wrocław; Hybrid; PLN 180,000 - 320,000; Full time

Job summary

Relout poszukuje Mid/Senior Kafka Engineera do projektu z obszaru Data Platform, skupionego na budowie hybrydowego środowiska Kafka łączącego on-premise z AWS. Do obowiązków należy projektowanie topologii, budowa klastrów i utrzymanie procesów CI/CD oraz IaC w Terraform. Wymagane min.

4 lata doświadczenia z Apache Kafka, dobra znajomość Confluent Platform i Cloud, oraz doświadczenie w Pythonie i Bash. Praca zdalna z jedną wizytą we Wrocławiu, branża data platform, współpraca z DevOps i zespołem

Qualifications

• Minimum 4 lata komercyjnego doświadczenia z Apache Kafka.
• Dobra znajomość Confluent Platform Enterprise i Confluent Cloud.
• Doświadczenie z projektowaniem środowisk hybrydowych.

Responsibilities

• Projektowanie hybrydowej topologii Apache Kafka on-premise AWS.
• Budowa i rozwój rozwiązania Kafka w środowisku AWS.
• Konfiguracja klastrów Kafka, AWS MSK i Confluent Cloud.
• Implementacja i utrzymanie Infra-as-Code w Terraform.
• Automatyzacja testów integracyjnych dla Kafka.
• Współpraca z Data Platform, DevOps i zespołem Security.
• Mentoring młodszych członków zespołu.

Skills

Python

Bash

Tools

Confluent Platform Enterprise

Confluent Cloud

Terraform

Ansible

Prometheus

Grafana

OpenTelemetry

Elastic Stack

MirrorMaker 2

Cluster Linking

Confluent Replicator

AWS

EKS

Job description

Jesteśmy agencją consultingową, zajmującą się wyszukiwaniem i pozyskiwaniem najlepszych talentów dla naszych klientów. Pomagamy start-upom, software house’om i przedsiębiorstwom w skalowaniu i transformacji poprzez nawiązywanie współpracy z ambitnymi inżynierami posiadającymi prawdziwą pasję do technologii.

Obecnie poszukujemy Mid/Senior Kafka Engineera do projektu z obszaru Data Platform, którego jednym z kluczowych elementów jest budowa hybrydowego środowiska Kafka, łączącego klastry on-premise oraz AWS.

Projekt jest już w fazie realizacji i obejmuje budowę rozwiązania Kafka w chmurze AWS, implementację mechanizmów replikacji danych pomiędzy środowiskami on-premise i cloud oraz rozwój procesów CI/CD i Infrastructure-as-Code. W środowisku wykorzystywane są m.in. Apache Kafka, Confluent Platform, Confluent Cloud, AWS MSK, EKS, Terraform, Ansible, Prometheus i Grafana.

Poszukujemy doświadczonej osoby, która bardzo dobrze rozumie architekturę Kafka i potrafi samodzielnie projektować oraz rozwijać złożone środowiska hybrydowe. Ważne będzie zarówno doświadczenie infrastrukturalne i automatyzacyjne, jak i znajomość mechanizmów replikacji, bezpieczeństwa, monitoringu oraz optymalizacji wydajności. Rola zakłada również współpracę z Data Engineerami, DevOpsami i zespołami Security oraz dzielenie się wiedzą z mniej doświadczonymi członkami zespołu.

• Współpracę w oparciu o kontrakt B2B
• Pracę zdalną z jedną wizytą w biurze we Wrocławiu w miesiącu
• Udział w rozwijanym już projekcie z obszaru Data Platform
• Pracę przy budowie hybrydowej infrastruktury Kafka on-premise AWS
• Możliwość pracy z rozbudowanym środowiskiem obejmującym Confluent Platform, Confluent Cloud oraz AWS

Obowiązki

• Projektowanie hybrydowej topologii Apache Kafka on-premise AWS
• Budowa i rozwój rozwiązania Kafka w środowisku AWS
• Tworzenie i konfiguracja klastrów Kafka, AWS MSK oraz Confluent Cloud
• Dobór i konfiguracja komponentów Confluent Platform, m.in. Schema Registry, Flink, Control Center oraz Tableflow
• Implementacja mechanizmów replikacji pomiędzy klastrami z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Zapewnianie spójności danych oraz niskich opóźnień podczas transferu danych pomiędzy środowiskami
• Projektowanie oraz rozwój pipeline’ów CI/CD dla wdrożeń Kafka, schematów oraz aplikacji konsumenckich
• Implementacja i rozwój Infrastructure-as-Code w Terraform, w tym wersjonowanie, testowanie planów oraz automatyzacja wdrożeń
• Automatyzacja procesów konfiguracyjnych z wykorzystaniem Ansible
• Implementacja i rozwój monitoringu z wykorzystaniem Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Automatyzacja testów integracyjnych dla środowiska Kafka
• Tworzenie i utrzymywanie runbooków, alertów oraz SLA/SLO
• Rozwiązywanie incydentów pojawiających się podczas budowy rozwiązania
• Optymalizacja wydajności oraz tuning konfiguracji Kafka
• Współpraca w ramach zespołu Data Platform z Data Engineerami, DevOpsami oraz specjalistami Security
• Mentoring mniej doświadczonych członków zespołu oraz prowadzenie warsztatów technicznych

Wymagania

• Minimum 4 lata komercyjnego doświadczenia w pracy z Apache Kafka
• Bardzo dobra znajomość Confluent Platform Enterprise oraz Confluent Cloud
• Doświadczenie w projektowaniu, budowaniu i utrzymywaniu środowisk hybrydowych
• Praktyczne doświadczenie w migracji i replikacji klastrów z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Praktyczna znajomość usług AWS, w szczególności VPC, IAM, EC2, EKS, MSK, S3, KMS oraz Secrets Manager
• Doświadczenie z Terraform, w tym tworzeniem modułów i automatyzacją infrastruktury
• Znajomość narzędzi wspierających testowanie i bezpieczeństwo Terraform, takich jak Terratest oraz tfsec
• Praktyczna znajomość Ansible
• Doświadczenie w tworzeniu i rozwijaniu pipeline’ów GitHub Actions, GitLab CI lub Jenkins
• Doświadczenie w automatyzacji testów integracyjnych dla Kafka
• Znajomość Python i Bash
• Doświadczenie z narzędziami observability i monitoringu: Prometheus, Grafana, Confluent Control Center, OpenTelemetry oraz Elastic Stack
• Bardzo dobra znajomość zagadnień związanych z bezpieczeństwem: TLS, SASL, ACL, RBAC oraz szyfrowanie danych w spoczynku i tranzycie
• Doświadczenie w pracy w metodykach Scrum lub Kanban
• Znajomość Jira i Confluence
• Umiejętność samodzielnego analizowania i rozwiązywania złożonych problemów infrastrukturalnych i wydajnościowych