Data Engineer (K/M/N)

Randlab; Płock; On-site; PLN 180,000 - 240,000; Full time

Job summary

Randlab Pty Ltd poszukuje doświadczonego Data Engineera do projektowania i utrzymania przepływów danych w środowisku GCP. Wymagana jest praktyczna znajomość BigQuery, Dataflow i Dataproc oraz umiejętność tworzenia i utrzymywania ETL/ELT, a także automatyzacji procesów i zarządzania dostępem do danych.

Do zadań należeć będzie projektowanie architektury danych, wdrażanie kontrolej jakości danych i współpraca z zespołami infrastruktur, bezpieczeństwa oraz Data Governance.

Qualifications

• Minimum 3 years of experience as Data Engineer or GCP Consultant.
• Practical knowledge of GCP services used for data processing and integration.
• Strong knowledge of BigQuery, including data modeling, SQL, query optimization, partitioning and clustering.
• Practical knowledge of Cloud Composer / Apache Airflow.
• Familiarity with Dataproc, Dataflow and Datastream.
• Familiarity with Cloud Run / Cloud Run Functions.
• Familiarity with Cloud Storage for data processing.
• Excellent Python and SQL skills.
• Knowledge of GitLab CI/CD and versioning.
• Knowledge of Terraform for data resources.
• Knowledge of data integration patterns: batch, streaming and CDC.
• Experience translating business requirements into technical solutions.
• Knowledge of data access controls: IAM, authorized views, row-level and column-level security and policy tags.
• Knowledge of Workforce Identity Federation with Microsoft Entra ID.
• Knowledge of Dataplex Universal Catalog for classification, tagging and cataloging.
• Understanding data classification and GDPR in access management.
• Knowledge of integrating GCP with Informatica IDMC.
• Knowledge of multi-cloud governance including SAP Datasphere and Azure Databricks.
• Strong communication, organizational and analytical skills.

Responsibilities

• Analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP.
• Projektowanie, implementacja i utrzymanie procesów ETL/ELT z Dataproc, Dataflow, BigQuery i Dataform.
• Implementacja logiki transformacji danych w SQL, Python i dbt.
• Integracja danych z systemów on-premise, platform chmurowych, API, plików i strumieni danych.
• Projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow.
• Zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i wznowieniami procesów.
• Projektowanie i utrzymanie potoków CI/CD z GitLab.
• Automatyzacja testowania, wdrażania i wersjonowania procesów danych.
• Definiowanie zasobów IaC dla przetwarzania danych (GCS, BigQuery, Cloud Composer, Dataproc).
• Monitorowanie działania procesów i reagowanie na incydenty w warstwie logiki danych.
• Optymalizacja wydajności i kosztów przetwarzania (zapytania, partycjonowanie, klastrowanie w BigQuery).
• Refaktoryzacja i modernizacja procesów oraz wsparcie migracji danych.
• Implementacja walidacji i kontroli jakości danych.
• Projektowanie i wdrażanie uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy.
• Konfiguracja IAM, row-level security, column-level security i policy tags.
• Zarządzanie dostępem z Workforce Identity Federation i Microsoft Entra ID.
• Współpraca z Dataplex Universal Catalog w zakresie klasyfikacji i katalogowania danych.
• Współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance.
• Przygotowywanie i aktualizacja dokumentacji technicznej.
• Przeprowadzanie code review i wsparcie merytoryczne zespołów data.

Skills

GCP fundamentals

SQL

Python

Data modeling

BigQuery

Education

Google Cloud Professional Data Engineer

Tools

Dataproc

Dataflow

Datastream

Cloud Composer / Apache Airflow

Terraform

GitLab CI/CD

Job description

Opis projektu

Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP). Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania. Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi.

Zakres współpracy

• analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP


• dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA


• projektowanie, implementacja i utrzymanie procesów ETL/ELT z wykorzystaniem Dataproc, Dataflow, BigQuery i Dataform


• implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt


• integracja danych z systemów on-premise, platform chmurowych, API, plików oraz strumieni danych


• implementacja mechanizmów CDC (Change Data Capture)


• projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow


• zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów


• projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab


• automatyzacja testowania, wdrażania i wersjonowania procesów danych


• definiowanie zasobów IaC związanych z przetwarzaniem danych, m.in. GCS, BigQuery, Cloud Composer i Dataproc


• monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty w warstwie logiki danych


• optymalizacja wydajności i kosztów przetwarzania, w tym optymalizacja zapytań, partycjonowania i klastrowania w BigQuery


• refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych


• implementacja mechanizmów walidacji i kontroli jakości danych


• projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy


• konfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tags


• zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID


• współpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalog


• współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance


• przygotowywanie i aktualizacja dokumentacji technicznej


• przeprowadzanie code review oraz wsparcie merytoryczne zespołów data

Wymagania obligatoryjne

• minimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GCP


• praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych


• znajomość BigQuery, w tym modelowania danych, SQL, optymalizacji zapytań, partycjonowania i klastrowania


• praktyczna znajomość Cloud Composer / Apache Airflow


• znajomość Dataproc, Dataflow i Datastream


• znajomość Cloud Run / Cloud Run Functions


• znajomość Cloud Storage w zakresie przetwarzania danych


• bardzo dobra znajomość Python i SQL


• znajomość GitLab, w tym CI/CD i wersjonowania


• znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych


• znajomość wzorców integracji danych: batch, streaming i CDC


• doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne


• znajomość mechanizmów kontroli dostępu do danych w GCP, w tym IAM, authorized views, row-level i column-level security oraz policy tags


• znajomość Workforce Identity Federation, w tym zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID


• znajomość Dataplex Universal Catalog w zakresie klasyfikacji, tagowania i katalogowania danych


• rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem


• znajomość zagadnień integracji GCP z platformą Informatica IDMC


• znajomość architektury multi-cloud governance, obejmującej SAP Datasphere i Azure Databricks


• wysokie umiejętności komunikacyjne, organizacyjne i analityczne

Wymagania dodatkowe

• certyfikat Google Cloud, np. Professional Data Engineer