GCP Data Engineer – BigQuery & Airflow, Remote

Sii Sp. z o.o.; Kraków; On-site; PLN 223,000 - 312,000; Full time

Benefits offered by this job

Great place to work

Private medical care

Profit sharing

Flexible workplace

Job summary

Sii Sp. z o.o. w Krakowie poszukuje Data Engineer z GCP, który będzie projektować i utrzymywać skalowalne pipeline’y danych w Google Cloud Platform, ze szczególnym naciskiem na BigQuery i optymalizację zapytań.

Wymagamy minimum 4 lata doświadczenia w pracy z danymi, biegłości w SQL i Pythonie, znajomości Airflow/Cloud Composer oraz praktyki w CI/CD i Infrastructure as Code (Terraform). Pracujesz w zespole Data & Analytics, komunikujesz się po angielsku i po polsku.

Qualifications

• Min. 4 lata doświadczenia w roli Data Engineer lub na podobnym stanowisku przy pracy z danymi w środowisku produkcyjnym.
• Very good knowledge of Google Cloud Platform, in particular BigQuery (modelowanie danych, optymalizacja zapytań) oraz Cloud Storage
• Umiejętność projektowania, budowy i utrzymania pipeline’ów danych (batch i/lub streaming)
• Bardzo dobra znajomość SQL oraz Pythona w kontekście przetwarzania i orkiestracji danych
• Doświadczenie w obszarze orkiestracji workflow (Apache Airflow / Cloud Composer)
• Praktyka w implementacji CI/CD dla rozwiązań data, np. GitHub Actions, GitLab CI, Cloud Build
• Znajomość podejścia Infrastructure as Code, ze wskazaniem na Terraform
• Wcześniejsza praca z dużymi wolumenami danych, z uwzględnieniem wydajności i niezawodności rozwiązań
• Swobodna komunikacja w języku angielskim
• Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego

Responsibilities

• Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w oparciu o Google Cloud Platform
• Praca z BigQuery jako główną hurtownią danych: modelowanie danych, optymalizacja zapytań i kosztów, dbanie o wydajność oraz niezawodność rozwiązań
• Integracja danych z różnych źródeł (pliki, bazy danych, API, eventy) oraz ich przetwarzanie i transformacja
• Orkiestracja workflow danych przy użyciu Apache Airflow / Cloud Composer
• Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych oraz infrastruktury
• Zarządzanie infrastrukturą w chmurze zgodnie z podejściem Infrastructure as Code (Terraform)
• Zapewnienie jakości danych, monitoringu pipeline’ów oraz szybkiego reagowania na incydenty
• Współpraca z zespołami analitycznymi, BI i produktowymi w celu dostarczania stabilnych i dobrze udokumentowanych danych
• Udział w rozwoju architektury danych oraz wspólne definiowanie dobrych praktyk data engineeringowych

Skills

BigQuery

Cloud Computing

SQL

Python

IaC

Google Cloud Platform

Tools

Apache Airflow

Cloud Composer

Terraform

Data Build Tool

Apache Spark

Databricks

Snowflake

Microsoft Fabric

Job description

Sii Sp. z o.o. w Krakowie poszukuje Data Engineer z GCP, który będzie projektować i utrzymywać skalowalne pipeline’y danych w Google Cloud Platform, ze szczególnym naciskiem na BigQuery i optymalizację zapytań.

Wymagamy minimum 4 lata doświadczenia w pracy z danymi, biegłości w SQL i Pythonie, znajomości Airflow/Cloud Composer oraz praktyki w CI/CD i Infrastructure as Code (Terraform). Pracujesz w zespole Data & Analytics, komunikujesz się po angielsku i po polsku.