Data Engineer – Google Cloud

GOLDENORE ITC sp. z o.o.; Warszawa; On-site; PLN 180,000 - 260,000; Full time

Job summary

GOLDENORE ITC sp. z o.o. poszukuje doświadczonego Data Engineera do budowy, rozwoju i optymalizacji potoków danych w środowisku Google Cloud.

Będziesz odpowiadać za integracje systemów źródłowych z hurtownią danych i warstwami analitycznymi, a także modernizację istniejących procesów. Wymagane praktyczne doświadczenie z GCP, BigQuery, SQL i Pythonem w Data Engineering oraz znajomość ETL/ELT i narzędzi orkiestracji danych.

Qualifications

• Praktyczne doświadczenie w budowie i optymalizacji potoków danych w Google Cloud.
• Doskonała znajomość BigQuery i SQL.
• Doświadczenie z Python w Data Engineering.
• Znajomość ETL/ELT oraz narzędzi do orkiestracji danych.
• Doświadczenie w walidacji danych i monitoringu.
• Umiejętność integracji systemów źródłowych z hurtownią danych.
• Praca z dużymi wolumenami danych i tworzenie skalowalnych procesów.

Responsibilities

• Projektowanie i rozwój potoków danych w Google Cloud.
• Praca z BigQuery i optymalizacja przetwarzania danych.
• Tworzenie i optymalizacja zapytań SQL.
• Wykorzystanie Pythona do przetwarzania danych.
• Budowa procesów ETL/ELT.
• Integracja systemów źródłowych z hurtownią danych i warstwami analitycznymi.
• Implementacja walidacji i kontroli jakości danych.
• Budowa monitoringu procesów i obsługi błędów.
• Automatyzacja kontroli poprawności danych.
• Udział w migracjach z legacy do Google Cloud.
• Współpraca z zespołami Data & Analytics.

Skills

Data pipelines GC

BigQuery

SQL

Python

ETL/ELT

Data Orchestration

Data Quality

Data Validation

Monitoring

Error Handling

Data Integration

Big Data

Scalable pipelines

Tools

Dataflow

Dataproc

Dataform

dbt

Cloud Composer

Airflow

Legacy migration to GCP

BigQuery optimization

Job description

Nasze wymagania:

• praktycznego doświadczenia w budowie, utrzymaniu i optymalizacji data pipelines w Google Cloud,
• bardzo dobrej znajomości BigQuery,
• bardzo dobrej znajomości SQL,
• praktycznego doświadczenia z Python w obszarze Data Engineering,
• znajomości procesów i narzędzi ETL/ELT,
• doświadczenia z narzędziami do przetwarzania i orkiestracji danych,
• doświadczenia w implementacji Data Quality, walidacji danych, monitoringu i error handlingu,
• doświadczenia w integracji systemów źródłowych z hurtowniami danych i modelami analitycznymi,
• doświadczenia w pracy z dużymi wolumenami danych,
• znajomości dobrych praktyk związanych z budową skalowalnych i niezawodnych procesów danych.

Mile widziane:

• doświadczenie z Google Cloud Dataflow,
• znajomość Google Cloud Dataproc,
• doświadczenie z Dataform,
• znajomość dbt,
• doświadczenie z Cloud Composer / Apache Airflow,
• udział w projektach migracyjnych z platform legacy do Google Cloud,
• doświadczenie w modernizacji istniejących procesów i architektur danych,
• doświadczenie w optymalizacji wydajności i kosztów procesów działających w BigQuery / Google Cloud.

O projekcie:

Poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za budowę, rozwój i optymalizację potoków danych oraz integrację systemów źródłowych z hurtownią danych i warstwami analitycznymi.Istotnym elementem projektu będzie również modernizacja i migracja istniejących procesów danych z rozwiązań legacy do środowiska Google Cloud.

Zakres obowiązków:

• projektowanie, budowa i rozwój potoków danych w Google Cloud,
• praca z BigQuery oraz optymalizacja przetwarzania danych,
• tworzenie i optymalizacja zapytań SQL,
• wykorzystanie Python w procesach przetwarzania i transformacji danych,
• budowa procesów ETL/ELT,
• integracja systemów źródłowych z hurtownią danych, modelami analitycznymi i warstwami konsumpcyjnymi,
• implementacja mechanizmów walidacji i kontroli jakości danych,
• budowa monitoringu procesów oraz mechanizmów obsługi błędów,
• automatyzacja kontroli poprawności przetwarzanych danych,
• udział w migracji i modernizacji procesów danych z platform legacy do Google Cloud,
• współpraca z zespołami odpowiedzialnymi za rozwiązania Data & Analytics.