Mid / Senior Data Engineer (Python | Confluent Cloud | Kafka)

1dea; Województwo mazowieckie; Remote; PLN 193,000 - 214,000; Full time

Job summary

1dea poszukuje doświadczonego Data Engineera do pracy nad przetwarzaniem danych w czasie rzeczywistym oraz architekturą opartą na zdarzeniach. Praca 100% zdalnie w modelu B2B (outsourcing) z możliwością długoterminowej współpracy.

Zakres obowiązków obejmuje projektowanie i utrzymanie strumieniowych rurociągów danych na Apache Kafka i Confluent Cloud, integrację źródeł danych oraz tworzenie kodu Python i zapytań SQL. Mile widziane doświadczenie z CDC, GCP i MongoDB.

Qualifications

• Confluent Cloud – mile widziany certyfikat, ale nie warunek konieczny.
• Kafka – praktyczna znajomość i doświadczenie komercyjne.
• Bardzo dobra znajomość Pythona.
• Bardzo dobra znajomość SQL.
• Angielski na poziomie swobodnej komunikacji (B2+).

Responsibilities

• Projektowanie, wdrażanie i utrzymanie strumieniowych rurociągów danych (Kafka) i Confluent Cloud.
• Integracja rozproszonych systemów i źródeł danych w podejściu Event-driven Architecture.
• Tworzenie i optymalizacja kodu Python oraz zapytań SQL.
• Konfiguracja CDC Tools i monitorowanie zmian w bazach danych.
• Współpraca przy integracji chmury (GCP) oraz MongoDB.

Skills

Python

SQL

Kafka

Confluent Cloud

English (B2+)

Tools

MongoDB

GCP

CDC Tools

Job description

O projekcie:

Szukamy doświadczonego Data Engineera, który wzmocni nasz zespół w obszarze przetwarzania danych w czasie rzeczywistym i architektury opartej na zdarzeniach.

Warunki zaangażowania:

• Obszar: Consulting IT
• Lokalizacja: 100% zdalnie Delegacje: nie Start: ASAP (akceptujemy kandydatury z max 1msc dostępnością do startu)
• Stawka (ustalana indywidualnie): 140 - 155 PLN netto + VAT / h
• Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo (6msc + przedłużenie)

Wymagania:

• Confluent Cloud (kluczowe – mile widziany certyfikat, ale nie jest on warunkiem koniecznym)
• Kafka (praktyczna znajomość i doświadczenie komercyjne)
• Bardzo dobra znajomość Pythona
• Bardzo dobra znajomość języka SQL
• Angielski na poziomie swobodnej komunikacji w mowie i piśmie (B2+)

Mile widziane:

• Znajomość wzorców Event-driven Architecture
• Doświadczenie z narzędziami CDC (Change Data Capture)
• Znajomość chmury GCP (Google Cloud Platform)
• Doświadczenie w pracy z MongoDB

Codzienne zadania:

• Projektowanie, wdrażanie i utrzymanie strumieniowych rurociągów danych (Data Pipelines) w oparciu o Apache Kafka oraz Confluent Cloud.
• Integracja rozproszonych systemów i źródeł danych z wykorzystaniem podejścia Event-driven Architecture.
• Tworzenie i optymalizacja kodu w języku Python oraz skomplikowanych zapytania/skryptów SQL.
• Konfiguracja i obsługa procesów przechwytywania zmian w bazach danych (CDC Tools).
• Współpraca przy integracji rozwiązań chmurowych (GCP) oraz nierelacyjnych baz danych (MongoDB).
• Dbanie o wysoką wydajność, niezawodność oraz skalowalność architektury przepływu danych