Senior Data Engineer (GCP) - ETL/Streaming Pipelines

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Praca hybrydowa

Feedback po rekrutacji

Kontrakt B2B

Job summary

Clurgo Ltd. poszukuje doświadczonego specjalisty ds. Data Engineering do projektu w sektorze finansowym, obejmującego projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych w środowisku GCP.

Będziesz tworzyć ETL/ELT z Dataflow, Apache Beam i Python, optymalizować modele danych oraz zapytania w PostgreSQL/PL/SQL, a także zarządzać workflowami w Airflow/Cloud Composer. Wymagane jest minimum 10 lat doświadczenia w branży IT, praktyczna znajomość GCP, Python oraz

Qualifications

• minimum 10 lat doświadczenia w branży IT, w tym Data Engineering
• praktyczne doświadczenie z Google Cloud Platform (GCP)
• umiejętność kodowania w Pythonie
• bardzo dobra znajomość SQL, PostgreSQL, PL/SQL
• doświadczenie z Apache Beam
• znajomość Google Cloud SDK, API i skryptów
• podstawy DevOps: Git, CI/CD, procesy release'owe

Responsibilities

• projektowanie, rozwój i utrzymanie batchowych i streamingowych pipeline'ów danych w GCP
• budowanie ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• projektowanie i optymalizacja modeli danych oraz zapytań w PostgreSQL/PL/SQL
• tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow/Cloud Composer
• integracja danych z wielu źródeł oraz przygotowywanie ich do analityki w BigQuery i Cloud SQL
• zapewnianie jakości danych, monitoringu i niezawodności pipeline'ów
• optymalizacja wydajności przetwarzania danych i zapytań SQL
• współpraca z zespołami biznesowymi i analitycznymi; stosowanie praktyk Agile i DevOps
• praca z Git i Jenkins w obszarze DevOps

Skills

Data Engineering

GCP

Python

SQL

PostgreSQL

PL/SQL

Apache Beam

Airflow

Cloud Composer

Git

Jenkins

Dataflow

BigQuery

ETL/ELT

Tools

GCP

Dataflow

Apache Beam

Airflow

Cloud Composer

Python

SQL

PostgreSQL

PL/SQL

BigQuery

Cloud SQL

Pub/Sub

Google Cloud SDK

Git

Jenkins

Job description

Clurgo Ltd. poszukuje doświadczonego specjalisty ds. Data Engineering do projektu w sektorze finansowym, obejmującego projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych w środowisku GCP.

Będziesz tworzyć ETL/ELT z Dataflow, Apache Beam i Python, optymalizować modele danych oraz zapytania w PostgreSQL/PL/SQL, a także zarządzać workflowami w Airflow/Cloud Composer. Wymagane jest minimum 10 lat doświadczenia w branży IT, praktyczna znajomość GCP, Python oraz