Data Engineer (GCP) [M/F]

Arche Solutions; Polska; Hybrid; PLN 120,000 - 180,000; Full time

Job summary

Arche Solutions szuka Data Engineera z doświadczeniem w chmurze i SQL, aby migrować rozwiązanie monitorujące jakość danych do środowiska GCP. Będziesz projektować i rozwijać pipeline'y danych, implementować mechanizmy Data Quality w dbt Core oraz przygotowywać mapowania między rozwiązaniami.

Praca wymaga ścisłej współpracy w zespole interdyscyplinarnym. Stanowisko obejmuje projektowanie i utrzymanie ETL/ELT, migracje danych oraz monitorowanie jakości danych.

Qualifications

• Co najmniej 4 lata doświadczenia na stanowisku Data Engineer
• Doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych
• Doświadczenie w projektowaniu i implementacji procesów ETL/ELT
• Doświadczenie w migracji, transformacji i przetwarzaniu danych
• Znajomość zagadnień związanych z Data Quality, monitoringiem i walidacją danych
• Praktyczna znajomość GCP i Google BigQuery
• Doświadczenie z dbt Core
• Umiejętność współpracy w zespołach interdyscyplinarnych

Responsibilities

• Projektowanie i rozwijanie pipeline'ów danych w chmurze GCP
• Budowa i utrzymanie procesów ETL/ELT
• Implementacja mechanizmów Data Quality i walidacji danych
• Przygotowywanie mapowań między rozwiązaniami oraz budowa repozytoriów do monitorowania wyników kontroli

Skills

Data engineering

SQL

ETL/ELT

Data quality

Monitoring

Cloud collaboration

Tools

Google BigQuery

dbt Core

GCP

Job description

Dołączysz do zespołu, który migruje istniejące rozwiązanie do monitorowania jakości danych (Data Quality) z platformy legacy do środowiska GCP z wykorzystaniem BigQuery i dbt Core. Będziesz projektować i rozwijać pipeline'y danych oraz procesy ETL/ELT, implementować mechanizmy i metryki Data Quality w dbt Core, przygotowywać mapowania między rozwiązaniami oraz budować repozytoria do przechowywania i monitorowania wyników kontroli. To oferta dla Data Engineera z doświadczeniem w chmurze i SQL, który interesuje się obszarem jakości danych i migracjami do chmury.

• min. 4 lata doświadczenia na stanowisku Data Engineer
• praktyczne doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych
• doświadczenie w projektowaniu i implementacji procesów ETL/ELT
• doświadczenie w migracji, transformacji i przetwarzaniu danych
• znajomość zagadnień związanych z Data Quality, monitoringiem i walidacją danych
• praktyczna znajomość GCP i doświadczenie z Google BigQuery
• doświadczenie z dbt Core
• umiejętność współpracy w zespołach interdyscyplinarnych