Data Engineer with GCP

Clurgo Ltd.; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Praca hybrydowa

Feedback po rekrutacji

Kontrakt B2B

Job summary

Clurgo Ltd. poszukuje doświadczonego specjalisty ds. Data Engineering do projektu w sektorze finansowym, obejmującego projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych w środowisku GCP.

Będziesz tworzyć ETL/ELT z Dataflow, Apache Beam i Python, optymalizować modele danych oraz zapytania w PostgreSQL/PL/SQL, a także zarządzać workflowami w Airflow/Cloud Composer. Wymagane jest minimum 10 lat doświadczenia w branży IT, praktyczna znajomość GCP, Python oraz

Qualifications

• minimum 10 lat doświadczenia w branży IT, w tym Data Engineering
• praktyczne doświadczenie z Google Cloud Platform (GCP)
• umiejętność kodowania w Pythonie
• bardzo dobra znajomość SQL, PostgreSQL, PL/SQL
• doświadczenie z Apache Beam
• znajomość Google Cloud SDK, API i skryptów
• podstawy DevOps: Git, CI/CD, procesy release'owe

Responsibilities

• projektowanie, rozwój i utrzymanie batchowych i streamingowych pipeline'ów danych w GCP
• budowanie ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• projektowanie i optymalizacja modeli danych oraz zapytań w PostgreSQL/PL/SQL
• tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow/Cloud Composer
• integracja danych z wielu źródeł oraz przygotowywanie ich do analityki w BigQuery i Cloud SQL
• zapewnianie jakości danych, monitoringu i niezawodności pipeline'ów
• optymalizacja wydajności przetwarzania danych i zapytań SQL
• współpraca z zespołami biznesowymi i analitycznymi; stosowanie praktyk Agile i DevOps
• praca z Git i Jenkins w obszarze DevOps

Skills

Data Engineering

GCP

Python

SQL

PostgreSQL

PL/SQL

Apache Beam

Airflow

Cloud Composer

Git

Jenkins

Dataflow

BigQuery

ETL/ELT

Tools

GCP

Dataflow

Apache Beam

Airflow

Cloud Composer

Python

SQL

PostgreSQL

PL/SQL

BigQuery

Cloud SQL

Pub/Sub

Google Cloud SDK

Git

Jenkins

Job description

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu dużej organizacji z sektora finansowego obejmującego projektowanie, rozwój i utrzymaniebatchowych oraz strumieniowych pipeline'ów danych w środowisku Google Cloud Platform. Będziesz pracować nad rozwiązaniami ETL/ELT, integracją danych, orkiestracją procesów oraz optymalizacją modeli danych i zapytań.

Technologie i narzędzia: GCP, Dataflow, Apache Beam, Airflow, Cloud Composer, Python, SQL, PostgreSQL, PL/SQL, BigQuery, Cloud SQL, Cloud Storage, Pub/Sub, Google Cloud SDK, Git, Jenkins

Szukamy Ciebie, jeśli:

posiadasz minimum 10 lat doświadczenia w branży IT, w tym silne doświadczenie w obszarze Data Engineering

masz praktyczne doświadczenie z usługami Google Cloud Platform (GCP)

potrafisz kodować w Pythonie

bardzo dobrze znasz SQL, PostgreSQL oraz PL/SQL

masz doświadczenie zApache Beam

posiadasz dobrą znajomośćGoogle Cloud SDK, API oraz skryptów

znasz podstawy DevOps, w tym Git, CI/CD, procesy release'owe

Mile widziane:

• znajomość Dataproc
• doświadczenie w pracy z dużymi, rozproszonymi zbiorami danych
• doświadczenie w rozwiązaniach streamingowych i architekturach event-driven
• doświadczenie w bezpośredniej współpracy z klientem i interesariuszami biznesowymi

Zadania:

• projektowanie, rozwój i utrzymanie batchowych oraz streamingowych pipeline'ów danych z wykorzystaniem usług GCP
• budowanie procesów ETL/ELT przy użyciu Dataflow, Apache Beam i Python
• projektowanie oraz optymalizacja modeli danych i zapytań w PostgreSQL i PL/SQL
• tworzenie i utrzymywanie workflowów orkiestracyjnych w Airflow / Cloud Composer
• integracja danych z wielu źródeł oraz przygotowywanie ich do analityki i raportowania w BigQuery i Cloud SQL
• zapewnianie jakości danych, walidacji, monitoringu oraz niezawodności pipeline'ów
• optymalizacja wydajności procesów przetwarzania danych i zapytań SQL
• współpraca z zespołami biznesowymi, analitycznymi i aplikacyjnymi przy przekładaniu wymagań na rozwiązania techniczne
• stosowanie praktyk Agile i DevOps w zakresie CI/CD, testowania, wdrażania i utrzymania rozwiązań
• praca z Git i Jenkins w obszarze procesów DevOps

Czego możesz się spodziewać:

• współpracy w oparciu o kontrakt B2B
• pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
• profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji