Remote Cloud Data Engineer (GCP) — BigQuery & Airflow

Sii Sp. z o.o.; Katowice; On-site; PLN 180,000 - 270,000; Full time

Job summary

Sii Sp. z o.o. to czołowy dostawca usług IT w Polsce. Data Engineer z GCP dołącza do zespołu Data & Analytics w Katowicach, aby projektować i utrzymywać pipeline’y danych w GCP, z BigQuery jako hurtownią danych, dbając o wydajność i kosztowość rozwiązań.

Wymagana jest min. 4 lata doświadczenia, dobra znajomość SQL/Pythona i praktyka w Airflow/CI/CD. Praca na miejscu w Katowicach, z możliwością pracy w projekcie międzynarodowym.

Qualifications

• Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku w pracach z danymi produkcyjnymi.
• Bardzo dobra znajomość Google Cloud Platform, w szczególności BigQuery i Cloud Storage.
• Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming).
• Bardzo dobra znajomość SQL i Pythona w przetwarzaniu i orkiestracji danych.
• Doświadczenie w orkiestracji workflow (Apache Airflow / Cloud Composer).
• Praktyka w CI/CD dla rozwiązań data (GitHub Actions, GitLab CI, Cloud Build).
• Znajomość Terraform i Infrastructure as Code.
• Wcześniejsza praca z dużymi wolumenami danych, z naciskiem na wydajność i niezawodność.
• Swobodna komunikacja w języku angielskim.
• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego.

Responsibilities

• Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform.
• Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność i niezawodność rozwiązań.
• Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja.
• Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer.
• Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury.
• Zarządzanie infrastrukturą w chmurze zgodnie z podejściem IaC (Terraform).
• Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty.
• Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych danych.
• Udział w rozwoju architektury danych oraz dobrych praktyk data engineeringowych.

Skills

BigQuery

SQL

Python

Cloud Computing

Google Cloud Platform

IaC

Tools

Cloud Composer

Airflow

Terraform

GitHub Actions

GitLab CI

Cloud Build

Job description

Sii Sp. z o.o. to czołowy dostawca usług IT w Polsce. Data Engineer z GCP dołącza do zespołu Data & Analytics w Katowicach, aby projektować i utrzymywać pipeline’y danych w GCP, z BigQuery jako hurtownią danych, dbając o wydajność i kosztowość rozwiązań.

Wymagana jest min. 4 lata doświadczenia, dobra znajomość SQL/Pythona i praktyka w Airflow/CI/CD. Praca na miejscu w Katowicach, z możliwością pracy w projekcie międzynarodowym.