Data Engineer (K/M)

FINTURE Sp. z o.o.; Warszawa; Hybrid; PLN 140,000 - 200,000; Full time

Job summary

FINTURE Sp. z o.o. poszukuje Data Engineera do rozwoju i utrzymania platformy CDP na architekturze Data Lakehouse w Google Cloud dla klienta z branży paliwowo-energetycznej.

Twoje zadania to projektowanie i optymalizacja potoków ETL/ELT (batch i streaming), zarządzanie transformacjami Bronze/Silver/Gold, obsługa Datastream/Dataplex/Pub/Sub i dbałość o Data Governance, z możliwością pracy w większości zdalnie (1–2 dni w biurze w Warszawie).

Qualifications

• Minimum 6 miesiecy praktycznego doświadczenia z technologiami GCP.
• Dobra znajomość BigQuery, Cloud Storage, Dataflow, Cloud Composer.
• Znajomość Datastream, Dataplex, Pub/Sub i Dataform.
• Znajomość architektury medalionowej oraz zasad Data Governance.
• Znajomość Git i procesów CI/CD oraz Cloud Monitoring/Logging.
• Znajomość angielskiego umożliwiająca pracę w środowisku międzynarodowym.

Responsibilities

• Projektowanie i optymalizacja potoków ETL/ELT (batch i streaming) na platformie Data Lakehouse w GCP.
• Zarządzanie transformacjami w warstwach Bronze/Silver/Gold, obsługa CDC i replikacji do BigQuery.
• Dbałość o jakość danych i Data Governance oraz monitoring środowiska.

Skills

GCP

BigQuery

Dataflow

Cloud Composer

Datastream

Dataplex

Pub/Sub

Dataform

Data Governance

CI/CD

Git

English

Tools

Cloud Monitoring

Job description

Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse na Google Cloud dla klienta z branży paliwowo-energetycznej. Będziesz projektować i optymalizować potoki ETL/ELT (batch i streaming), zarządzać transformacjami w warstwach Bronze/Silver/Gold, obsługiwać CDC i replikację do BigQuery oraz dbać o jakość danych i Data Governance. Dla Data Engineera z praktyką w GCP, praca w większości zdalna (1–2 dni w miesiącu w biurze w Warszawie).

• doświadczenie w kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer
• min. 6 miesięcy praktycznego doświadczenia z technologiami GCP
• bardzo dobra znajomość BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam) i Cloud Composer (Apache Airflow)
• znajomość Datastream, Dataplex, Pub/Sub i Dataform
• zrozumienie architektury medalionowej oraz zasad Data Governance (deduplikacja, wersjonowanie danych)
• znajomość Git i procesów CI/CD (np. Cloud Build) oraz konfiguracji Cloud Monitoring/Logging
• znajomość angielskiego umożliwiająca pracę w środowisku międzynarodowym