Senior GCP Data Engineer | ETL/ELT, BigQuery & Dataflow

Randlab Pty Ltd; Płock; On-site; PLN 180,000 - 240,000; Full time

Job summary

Randlab Pty Ltd poszukuje doświadczonego Data Engineera do projektowania i utrzymania przepływów danych w środowisku GCP. Wymagana jest praktyczna znajomość BigQuery, Dataflow i Dataproc oraz umiejętność tworzenia i utrzymywania ETL/ELT, a także automatyzacji procesów i zarządzania dostępem do danych.

Do zadań należeć będzie projektowanie architektury danych, wdrażanie kontrolej jakości danych i współpraca z zespołami infrastruktur, bezpieczeństwa oraz Data Governance.

Qualifications

• Minimum 3 years of experience as Data Engineer or GCP Consultant.
• Practical knowledge of GCP services used for data processing and integration.
• Strong knowledge of BigQuery, including data modeling, SQL, query optimization, partitioning and clustering.
• Practical knowledge of Cloud Composer / Apache Airflow.
• Familiarity with Dataproc, Dataflow and Datastream.
• Familiarity with Cloud Run / Cloud Run Functions.
• Familiarity with Cloud Storage for data processing.
• Excellent Python and SQL skills.
• Knowledge of GitLab CI/CD and versioning.
• Knowledge of Terraform for data resources.
• Knowledge of data integration patterns: batch, streaming and CDC.
• Experience translating business requirements into technical solutions.
• Knowledge of data access controls: IAM, authorized views, row-level and column-level security and policy tags.
• Knowledge of Workforce Identity Federation with Microsoft Entra ID.
• Knowledge of Dataplex Universal Catalog for classification, tagging and cataloging.
• Understanding data classification and GDPR in access management.
• Knowledge of integrating GCP with Informatica IDMC.
• Knowledge of multi-cloud governance including SAP Datasphere and Azure Databricks.
• Strong communication, organizational and analytical skills.

Responsibilities

• Analiza wymagań biznesowych i technicznych oraz projektowanie architektury przepływów danych w oparciu o usługi GCP.
• Projektowanie, implementacja i utrzymanie procesów ETL/ELT z Dataproc, Dataflow, BigQuery i Dataform.
• Implementacja logiki transformacji danych w SQL, Python i dbt.
• Integracja danych z systemów on-premise, platform chmurowych, API, plików i strumieni danych.
• Projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow.
• Zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i wznowieniami procesów.
• Projektowanie i utrzymanie potoków CI/CD z GitLab.
• Automatyzacja testowania, wdrażania i wersjonowania procesów danych.
• Definiowanie zasobów IaC dla przetwarzania danych (GCS, BigQuery, Cloud Composer, Dataproc).
• Monitorowanie działania procesów i reagowanie na incydenty w warstwie logiki danych.
• Optymalizacja wydajności i kosztów przetwarzania (zapytania, partycjonowanie, klastrowanie w BigQuery).
• Refaktoryzacja i modernizacja procesów oraz wsparcie migracji danych.
• Implementacja walidacji i kontroli jakości danych.
• Projektowanie i wdrażanie uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy.
• Konfiguracja IAM, row-level security, column-level security i policy tags.
• Zarządzanie dostępem z Workforce Identity Federation i Microsoft Entra ID.
• Współpraca z Dataplex Universal Catalog w zakresie klasyfikacji i katalogowania danych.
• Współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance.
• Przygotowywanie i aktualizacja dokumentacji technicznej.
• Przeprowadzanie code review i wsparcie merytoryczne zespołów data.

Skills

GCP fundamentals

SQL

Python

Data modeling

BigQuery

Education

Google Cloud Professional Data Engineer

Tools

Dataproc

Dataflow

Datastream

Cloud Composer / Apache Airflow

Terraform

GitLab CI/CD

Job description

Randlab Pty Ltd poszukuje doświadczonego Data Engineera do projektowania i utrzymania przepływów danych w środowisku GCP. Wymagana jest praktyczna znajomość BigQuery, Dataflow i Dataproc oraz umiejętność tworzenia i utrzymywania ETL/ELT, a także automatyzacji procesów i zarządzania dostępem do danych.

Do zadań należeć będzie projektowanie architektury danych, wdrażanie kontrolej jakości danych i współpraca z zespołami infrastruktur, bezpieczeństwa oraz Data Governance.