Data Engineer

Solid Company; Poland; On-site; PLN 180,000 - 260,000; Full time

Job summary

HeadHR w Polsce poszukuje doświadczonego Data Engineera do pracy nad architekturą platform danych, w tym rozwojem pipeline’ów i przetwarzaniem strumieniowym.

Dołączysz do zespołu zajmującego się real-time i batch processing, integracją systemów oraz współpracą z klientami z branż energetycznej, utilities i manufacturing. Wymagana dobra znajomość Pythona i SQL, doświadczenie z Kafka, Flink i Spark, a także znajomość baz danych i narzędzi DevOps.

Qualifications

• Minimum 3 lata doświadczenia na stanowisku Data Engineer.
• Doskonała znajomość Pythona i SQL.
• Doświadczenie w projektowaniu i budowie pipeline’ów danych, zwłaszcza strumieniowych i eventowych.
• Znajomość architektury event-driven oraz narzędzi do przetwarzania danych w czasie rzeczywistym.
• Znajomość relacyjnych baz danych i technologii używanych do budowy nowoczesnych platform danych.
• Doświadczenie pracy z Git oraz CI/CD.
• Znajomość wybranych technologii z obszarów: Open Source Data, Chmury publiczne, Orkiestracja i integracja, Storage, Formaty danych, Bazy danych.

Responsibilities

• Projektowanie, implementacja i rozwój platform oraz procesów do przetwarzania danych w czasie rzeczywistym i wsadowo.
• Budowa i rozwój architektury opartej o event streaming oraz integrację systemów wymieniających dane w czasie rzeczywistym.
• Tworzenie i optymalizacja pipeline’ów danych oraz modeli danych dla systemów analitycznych i operacyjnych.
• Projektowanie niezawodnych, skalowalnych rozwiązań we współpracy z zespołem DevOps.
• Wsparcie klientów z obszaru Energy, Utilities i Manufacturing w budowie nowoczesnych platform danych.

Skills

Python

SQL

Data pipelines

Event-driven architecture

Data quality monitoring

Client collaboration

English communication

Tools

Apache Kafka

Kafka Connect

Apache Flink

Spark Structured Streaming

Apache Pulsar

Azure Event Hubs

Google Pub/Sub

PostgreSQL

TimescaleDB

SQL Server

Airflow

NiFi

S3-compatible Storage

Delta Lake

Iceberg

Trino

Hive

Job description

• Projektowanie, implementacja irozwój platform orazprocesów doprzetwarzania danychwczasie rzeczywistym (real-time)i wsadowo
• Budowa irozwój architektury opartej oevent streamingoraz integrację systemów wymieniających dane wczasie rzeczywistym
• Tworzenie ioptymalizacjapipeline’ówdanych orazmodeli danych dla systemów analitycznych ioperacyjnych
• Projektowanie niezawodnych, skalowalnych rozwiązań wewspółpracy zzespołemDevOps
• Wsparcie klientów zobszaru Energy, Utilities iManufacturing wbudowie nowoczesnych platform danych

Kogo poszukujemy?

• Masz minimum3 lata doświadczenia jako DataEngineer
• Cechuje Cię bardzo dobra znajomośćPythoni SQL
• Posiadasz doświadczenie wprojektowaniu ibudowiepipeline’ówdanych, wszczególnościprzetwarzania danych strumieniowych ieventowych
• Znaszarchitekturę event-drivenoraz narzędziado przetwarzania danych wczasie rzeczywistym (np.Apache Kafka, Kafka Connect, Apache Flink, Spark Structured Streaming, Apache Pulsar, Azure Event Hubs, Google Pub/Sub)
• Możesz pochwalić się znajomościąrelacyjnych baz danych oraztechnologii wykorzystywanych dobudowy nowoczesnych platform danych
• Pracaz Git orazCI/CDnie jest Ciobca
• Masz doświadczenie zwybranymi technologiami zobszarów:

1. Open SourceData: Apache Kafka, Spark, Flink, Trino, Hive
2. Chmurypubliczne: Azure, AWS, Google Cloud
3. Orkiestracja iintegracja:Airflow,NiFi
4. Storage: S3-compatible Object Storage, Azure Storage, GCS
5. Formaty danych:Iceberg, Delta Lake
6. Bazydanych: PostgreSQL,TimescaleDB, SQL Server

• Umieszmonitorowaćjakości danych orazdiagnozowaćproblemywydajnościowe
• Nieboisz sięwspółpracy zklientem irozumieszpotrzebybiznesowe
• Cechuje Cię komunikatywnośća Twójjęzyk angielski umożliwiacodzienną pracę