GCP Cloud Data Architect — ETL/ELT, BigQuery & Airflow

Experis; Łódź; Hybride; PLN 260 000 - 380 000; Plein temps

Résumé du poste

Experis w Łodzi poszukuje Cloud Data Architecta do projektowania i wdrażania rozwiązań Data Engineering w GCP. Będziesz tworzyć architekturę danych, ETL/ELT (batch i streaming) oraz modele danych z BigQuery, dbt Core i PySpark.

Wymagane 3+ lata doświadczenia w Data Engineering, dobra znajomość Python, PySpark i SQL, oraz praktyczne doświadczenie z Cloud Composer/Airflow, Cloud Storage i Pub/Sub. Kontrakt, praca w zespole.

Qualifications

• Minimum 3 lata doświadczenia w Data Engineering lub architekturze danych.
• Znajomość BigQuery, dbt Core i PySpark.
• Doświadczenie z GCP: Airflow/Cloud Composer, Pub/Sub, Cloud Storage.
• Projektowanie skalowalnych procesów ETL/ELT oraz przetwarzanie dużych zbiorów danych.

Responsabilités

• Projektowanie i rozwój architektury rozwiązań danych w środowisku GCP.
• Projektowanie i wdrażanie skalowalnych procesów ETL/ELT (batch i streaming).
• Projektowanie i rozwijanie modeli danych i transformacji z BigQuery, dbt Core i PySpark.
• Współpraca z zespołami developerskimi i architektami danych oraz dbanie o jakość danych.

Connaissances

Python

PySpark

SQL

BigQuery

dbt Core

ETL/ELT

Data architecture

Outils

GitHub

CI/CD

Airflow

Cloud Composer

Pub/Sub

Cloud Storage

Description du poste

Experis w Łodzi poszukuje Cloud Data Architecta do projektowania i wdrażania rozwiązań Data Engineering w GCP. Będziesz tworzyć architekturę danych, ETL/ELT (batch i streaming) oraz modele danych z BigQuery, dbt Core i PySpark.

Wymagane 3+ lata doświadczenia w Data Engineering, dobra znajomość Python, PySpark i SQL, oraz praktyczne doświadczenie z Cloud Composer/Airflow, Cloud Storage i Pub/Sub. Kontrakt, praca w zespole.