Hybrid Data Engineer (GCP) — ETL/Streaming, BigQuery

Clurgo; Kraków; Hybrid; PLN 240,000 - 360,000; Full time

Benefits offered by this job

Contract B2B

Hybrid work in Kraków

Job summary

Clurgo poszukuje specjalisty Data Engineer z silnym zapleczem w GCP i z co najmniej 10-letnim doświadczeniem w IT. Będziesz projektować i utrzymywać batchowe oraz streamingowe pipeline'y danych, implementować ETL/ELT z Dataflow i Apache Beam, a także optymalizować modele danych i zapytania w PostgreSQL/PL/SQL.

Praca w modelu hybrydowym w Krakowie, z wysokimi standardami jakości i współpracą z interesariuszami.

Qualifications

• Co najmniej 10 lat doświadczenia w branży IT, w tym w Data Engineering.
• Doświadczenie z usługami Google Cloud Platform (GCP).
• Umiejętność kodowania w Pythonie.
• Biegła znajomość SQL, PostgreSQL i PL/SQL.
• Doświadczenie z Apache Beam.
• Dobra znajomość Google Cloud SDK, API oraz skryptów.
• Znajomość podstaw DevOps, w tym Git, CI/CD, procesy release'owe.

Responsibilities

• Projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych z wykorzystaniem usług GCP.
• Budowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Python.
• Projektowanie i optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQL.
• Tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composer.
• Integracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQL.
• Zapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline'ów.
• Optymalizacja wydajności procesów przetwarzania danych i zapytań SQL.
• Współpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi.

Skills

Data engineering

Python programming

SQL

PostgreSQL

PL/SQL

Apache Beam

DevOps basics

Git

CI/CD

Tools

GCP

Dataflow

Airflow

Cloud Composer

BigQuery

Cloud SQL

Pub/Sub

Google Cloud SDK

Jenkins

Git

Job description

Clurgo poszukuje specjalisty Data Engineer z silnym zapleczem w GCP i z co najmniej 10-letnim doświadczeniem w IT. Będziesz projektować i utrzymywać batchowe oraz streamingowe pipeline'y danych, implementować ETL/ELT z Dataflow i Apache Beam, a także optymalizować modele danych i zapytania w PostgreSQL/PL/SQL.

Praca w modelu hybrydowym w Krakowie, z wysokimi standardami jakości i współpracą z interesariuszami.