Data Engineer - GCP Data Lakehouse, CDP & ETL/ELT

Randlab Pty Ltd; United States; Remote; USD 110,000 - 170,000; Full time

Job summary

Randlab Pty Ltd poszukuje Data Engineer’a do wsparcia zespołu zajmującego się budową i utrzymaniem platformy CDP opartej na Data Lakehouse w Google Cloud Platform. Do obowiązków należy rozwój procesów przetwarzania danych i implementacja ETL/ELT, z naciskiem na jakość danych i integrację z ekosystemem GCP.

Wymagana praktyczna znajomość GCP, BigQuery oraz SQL, Python i narzędzi do przetwarzania danych. Praca w międzynarodowym środowisku, możliwość współpracy z zespołami IT i PM-ów.

Qualifications

• Doświadczenie w projektowaniu i utrzymaniu rozwiązań Data Lakehouse
• Bardzo dobra znajomość angIELskiego umożliwiająca pracę w środowisku międzynarodowym
• Znajomość architektury danych, ETL/ELT oraz Data Governance

Responsibilities

• Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse w GCP
• Projektowanie i rozwój procesów przetwarzania danych
• Implementacja i optymalizacja procesów ETL/ELT
• Budowa i utrzymanie pipeline'ów danych w środowisku GCP
• Rozwój rozwiązań opartych o BigQuery
• Współpraca z zespołami projektowymi oraz technicznymi
• Monitorowanie i utrzymanie procesów przetwarzania danych
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych

Skills

Python

SQL

Tools

BigQuery

Cloud Dataflow

Cloud Composer

Datastream

Dataplex

Pub/Sub

Dataform

Python

Pandas

MySQL

PostgreSQL

MS SQL Server

Job description

Randlab Pty Ltd poszukuje Data Engineer’a do wsparcia zespołu zajmującego się budową i utrzymaniem platformy CDP opartej na Data Lakehouse w Google Cloud Platform. Do obowiązków należy rozwój procesów przetwarzania danych i implementacja ETL/ELT, z naciskiem na jakość danych i integrację z ekosystemem GCP.

Wymagana praktyczna znajomość GCP, BigQuery oraz SQL, Python i narzędzi do przetwarzania danych. Praca w międzynarodowym środowisku, możliwość współpracy z zespołami IT i PM-ów.