Data Engineer, Google Cloud & BigQuery Expert

GOLDENORE ITC sp. z o.o.; Warszawa; On-site; PLN 180,000 - 260,000; Full time

Job summary

GOLDENORE ITC sp. z o.o. poszukuje doświadczonego Data Engineera do budowy, rozwoju i optymalizacji potoków danych w środowisku Google Cloud.

Będziesz odpowiadać za integracje systemów źródłowych z hurtownią danych i warstwami analitycznymi, a także modernizację istniejących procesów. Wymagane praktyczne doświadczenie z GCP, BigQuery, SQL i Pythonem w Data Engineering oraz znajomość ETL/ELT i narzędzi orkiestracji danych.

Qualifications

• Praktyczne doświadczenie w budowie i optymalizacji potoków danych w Google Cloud.
• Doskonała znajomość BigQuery i SQL.
• Doświadczenie z Python w Data Engineering.
• Znajomość ETL/ELT oraz narzędzi do orkiestracji danych.
• Doświadczenie w walidacji danych i monitoringu.
• Umiejętność integracji systemów źródłowych z hurtownią danych.
• Praca z dużymi wolumenami danych i tworzenie skalowalnych procesów.

Responsibilities

• Projektowanie i rozwój potoków danych w Google Cloud.
• Praca z BigQuery i optymalizacja przetwarzania danych.
• Tworzenie i optymalizacja zapytań SQL.
• Wykorzystanie Pythona do przetwarzania danych.
• Budowa procesów ETL/ELT.
• Integracja systemów źródłowych z hurtownią danych i warstwami analitycznymi.
• Implementacja walidacji i kontroli jakości danych.
• Budowa monitoringu procesów i obsługi błędów.
• Automatyzacja kontroli poprawności danych.
• Udział w migracjach z legacy do Google Cloud.
• Współpraca z zespołami Data & Analytics.

Skills

Data pipelines GC

BigQuery

SQL

Python

ETL/ELT

Data Orchestration

Data Quality

Data Validation

Monitoring

Error Handling

Data Integration

Big Data

Scalable pipelines

Tools

Dataflow

Dataproc

Dataform

dbt

Cloud Composer

Airflow

Legacy migration to GCP

BigQuery optimization

Job description

GOLDENORE ITC sp. z o.o. poszukuje doświadczonego Data Engineera do budowy, rozwoju i optymalizacji potoków danych w środowisku Google Cloud.

Będziesz odpowiadać za integracje systemów źródłowych z hurtownią danych i warstwami analitycznymi, a także modernizację istniejących procesów. Wymagane praktyczne doświadczenie z GCP, BigQuery, SQL i Pythonem w Data Engineering oraz znajomość ETL/ELT i narzędzi orkiestracji danych.