Data Engineer (K/M/N)

Randlab Pty Ltd; United States; Remote; USD 110,000 - 170,000; Full time

Job summary

Randlab Pty Ltd poszukuje Data Engineer’a do wsparcia zespołu zajmującego się budową i utrzymaniem platformy CDP opartej na Data Lakehouse w Google Cloud Platform. Do obowiązków należy rozwój procesów przetwarzania danych i implementacja ETL/ELT, z naciskiem na jakość danych i integrację z ekosystemem GCP.

Wymagana praktyczna znajomość GCP, BigQuery oraz SQL, Python i narzędzi do przetwarzania danych. Praca w międzynarodowym środowisku, możliwość współpracy z zespołami IT i PM-ów.

Qualifications

• Doświadczenie w projektowaniu i utrzymaniu rozwiązań Data Lakehouse
• Bardzo dobra znajomość angIELskiego umożliwiająca pracę w środowisku międzynarodowym
• Znajomość architektury danych, ETL/ELT oraz Data Governance

Responsibilities

• Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse w GCP
• Projektowanie i rozwój procesów przetwarzania danych
• Implementacja i optymalizacja procesów ETL/ELT
• Budowa i utrzymanie pipeline'ów danych w środowisku GCP
• Rozwój rozwiązań opartych o BigQuery
• Współpraca z zespołami projektowymi oraz technicznymi
• Monitorowanie i utrzymanie procesów przetwarzania danych
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych

Skills

Python

SQL

Tools

BigQuery

Cloud Dataflow

Cloud Composer

Datastream

Dataplex

Pub/Sub

Dataform

Python

Pandas

MySQL

PostgreSQL

MS SQL Server

Job description

O projekcie

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

Twój zakres obowiązków

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse
• Projektowanie i rozwój procesów przetwarzania danych
• Implementacja i optymalizacja procesów ETL/ELT
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP
• Rozwój rozwiązań opartych o BigQuery
• Współpraca z zespołami projektowymi oraz technicznymi
• Monitorowanie i utrzymanie procesów przetwarzania danych
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych

Nasze wymagania

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer
• Bardzo dobre umiejętności komunikacyjne i organizacyjne
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics
• Doświadczenie z BigQuery
• Doświadczenie z Cloud Storage
• Doświadczenie z Cloud Dataflow (Apache Beam)
• Doświadczenie z Cloud Composer (Apache Airflow)
• Znajomość Datastream
• Znajomość Dataplex
• Doświadczenie z Pub/Sub
• Doświadczenie z Dataform
• Bardzo dobra znajomość Python
• Znajomość bibliotek do przetwarzania danych (m.in. Pandas)
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL)
• Znajomość MySQL
• Znajomość PostgreSQL
• Znajomość MS SQL Server
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold)
• Znajomość procesów ETL/ELT
• Znajomość zagadnień Data Governance
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych
• Znajomość zagadnień wersjonowania danych
• Praktyczna znajomość Git
• Znajomość procesów CI/CD
• Doświadczenie z Cloud Monitoring oraz Cloud Logging