GCP Data Engineer: BigQuery & Scalable Pipelines

Sii Sp. z o.o.; Łódź; On-site; PLN 150,000 - 190,000; Full time

Job summary

Sii Sp. z o.o. zaprasza do zespołu Data & Analytics, gdzie budujemy rozwiązania oparte na Google Cloud Platform. Będziesz projektować i utrzymywać pipeline’y danych, modelować dane w BigQuery oraz optymalizować zapytania i koszty.

Wymagamy doświadczenia z Airflow/Cloud Composer, IaC (Terraform) i współpracy z zespołami BI. Gwarantujemy rozwój w kierunku Data Engineering, Data Lake/Big Data i ML, pracę w inspirującym środowisku oraz stabilne warunki zatrudnienia.

Qualifications

• Doświadczenie w przetwarzaniu danych w środowisku chmurowym (GCP) i inżynierii danych.
• Znajomość projektowania i optymalizacji hurtowni danych (BigQuery) oraz zapytań.
• Doświadczenie z orkiestracją workflow (Airflow/Cloud Composer) i CI/CD dla pipeline’ów danych.
• Znajomość Infrastructure as Code (Terraform) i monitoringu danych.
• Dobre praktyki Data Governance i Data Quality.

Responsibilities

• Projektowanie, implementacja i utrzymanie skalowalnych pipeline’ów danych w GCP.
• Praca z BigQuery jako hurtownią danych, modelowanie i optymalizacja zapytań.
• Integracja danych z różnych źródeł i ich transformacja.
• Orkiestracja workflow danych przy użyciu Airflow/Cloud Composer.
• Tworzenie i utrzymanie rozwiązań CI/CD dla pipeline’ów danych.
• Zarządzanie infrastrukturą w chmurze za pomocą Terraform.
• Zapewnienie jakości danych, monitoringu i szybkiego reagowania na incydenty.
• Współpraca z zespołami BI w dostarczaniu stabilnych danych.
• Udział w rozwijaniu architektury danych i dobrych praktyk.

Skills

BigQuery

Airflow

GCP

Data Modeling

CI/CD

Terraform

Data Quality

Data Governance

Tools

Databricks

Snowflake

DBT

Dataflow

Cloud Composer

Job description

Sii Sp. z o.o. zaprasza do zespołu Data & Analytics, gdzie budujemy rozwiązania oparte na Google Cloud Platform. Będziesz projektować i utrzymywać pipeline’y danych, modelować dane w BigQuery oraz optymalizować zapytania i koszty.

Wymagamy doświadczenia z Airflow/Cloud Composer, IaC (Terraform) i współpracy z zespołami BI. Gwarantujemy rozwój w kierunku Data Engineering, Data Lake/Big Data i ML, pracę w inspirującym środowisku oraz stabilne warunki zatrudnienia.