Kafka / Python Data Engineer

ITFS Sp. z o.o.; Województwo mazowieckie; Remote; PLN 179,000 - 207,000; Full time

Job summary

ITFS Sp. z o.o. proponuje pracę zdalną na zasadzie B2B, z startem ASAP, w Polsce. Firma oferuje możliwość rozwoju w obszarze przetwarzania danych w czasie rzeczywistym przy użyciu technologii Kafka i Confluent Cloud.

Główne zadania obejmują projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania danych w czasie rzeczywistym, integrację źródeł danych oraz implementację CDC z wykorzystaniem Pythona i SQL, a także współpracę nad architekturą zdarzeniową w środowisku zdalnym.

Qualifications

• Wymagana znajomość Confluent Cloud, Kafka, Python i SQL.
• Doświadczenie z przetwarzaniem danych w czasie rzeczywistym mile widziane.

Responsibilities

• Projektowanie i rozwój rozwiązań do przetwarzania danych w czasie rzeczywistym z użyciem Apache Kafka i Confluent Cloud.
• Tworzenie i optymalizacja procesów integracji danych z użyciem Pythona i SQL, z uwzględnieniem architektury event-driven.

Skills

Python

SQL

Real-time data processing

Tools

Kafka

Confluent Cloud

Job description

O projekcie:

Miejsce pracy: 100% zdalnie

Start: ASAP

Forma współpracy: B2B z ITFS

Stawka: 130 - 150 PLN/h + VAT

Proces rekrutacyjny: Krótka rozmowa telefoniczna z rekruterem ITFS -> Rozmowa techniczna -> Decyzja.

Wymagania:

Znajomość: Confluent Cloud, Kafka, Python, SQL

Mile widziane:

Znajomość: CDC Tools, GCP, MongoDB, Event-driven Architecture

Codzienne zadania:

• Projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania danych w czasie rzeczywistym (Real-Time Data Processing) z wykorzystaniem Apache Kafka i Confluent Cloud, w tym integracja danych z różnych źródeł oraz implementacja mechanizmów streamingu i CDC.
• Tworzenie i optymalizacja procesów integracji oraz transformacji danych z wykorzystaniem Python i SQL, a także rozwój rozwiązań opartych na architekturze event-driven, z uwzględnieniem integracji z bazami danych, np. MongoDB, oraz usługami GCP.