Data Engineer (GCP) – Remote, BigQuery & CI/CD

Sii Sp. z o.o.; Poznań; On-site; PLN 180,000 - 260,000; Full time

Benefits offered by this job

Great Place to Work od 2015 roku

Prywatna opieka zdrowotna

Platforma kafeteryjna

Zwroty kosztów dojazdu

Job summary

Sii Sp. z o.o. w Poznaniu poszukuje Data Engineera z GCP, aby projektować i utrzymywać skalowalne pipeline’y danych w ekosystemie Google Cloud. Będziesz modelować dane w BigQuery, optymalizować zapytania i koszty, a także integrować różne źródła danych.

Wymagane doświadczenie z Airflow/Cloud Composer, Terraform i CI/CD. Zespół pracuje nad nowymi rozwiązaniami data engineeringowymi oraz współpracuje z BI i produktami.

Qualifications

• Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnym.
• Bardzo dobra znajomość Google Cloud Platform, w szczególności: BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud Storage
• Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
• Bardzo dobra znajomość SQL oraz Pythona w kontekście przetwarzania i orkiestracji danych
• Doświadczenie w obszarze orkiestracji workflow (Apache Airflow / Cloud Composer)
• Praktyka w implementacji CI/CD dla rozwiązań data (GitHub Actions, GitLab CI, Cloud Build)
• Wcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązań
• Swobodna komunikacja w języku angielskim
• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Responsibilities

• Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform
• Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązań
• Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
• Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
• Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
• Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
• Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
• Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
• Udział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowych

Skills

BigQuery

GCP

SQL

Python

Infrastructure as Code

Google Cloud Platform

Airflow/Cloud Composer

CI/CD

Data pipelines

Tools

Terraform

Databricks

Snowflake

Microsoft Fabric

Job description

Sii Sp. z o.o. w Poznaniu poszukuje Data Engineera z GCP, aby projektować i utrzymywać skalowalne pipeline’y danych w ekosystemie Google Cloud. Będziesz modelować dane w BigQuery, optymalizować zapytania i koszty, a także integrować różne źródła danych.

Wymagane doświadczenie z Airflow/Cloud Composer, Terraform i CI/CD. Zespół pracuje nad nowymi rozwiązaniami data engineeringowymi oraz współpracuje z BI i produktami.