GCP Data Engineer: BigQuery & Data Pipelines

Edge One Solutions Sp. z o.o; Warszawa; Hybrid; PLN 180,000 - 300,000; Full time

Benefits offered by this job

Szkolenia i certyfikaty

Karta sportowa

Pakiet zdrowotny

Elastyczne benefity

Webinary edge1talks

Job summary

Edge One Solutions w Warszawie poszukuje specjalisty ds. przetwarzania danych do projektów chmurowych w Google Cloud Platform. Zakres prac obejmuje projektowanie potoków batch i streaming, integracje systemów oraz implementację rozwiązań w GCP, współpracę z analitykami i architektami danych.

Wymagana dobra znajomość Pythona i SQL, doświadczenie z BigQuery, Dataflow, Airflow/Composer, Cloud Storage i GitHub. Doświadczony specjalista w środowisku chmurowym, elastyczna współpraca w zespole.

Qualifications

• Doświadczenie w projektowaniu i budowie rozwiązań chmurowych w GCP.
• Biegła znajomość Pythona i SQL.
• Umiejętność tworzenia i rozwijania potoków danych batch i streaming.
• Doświadczenie w pracy z repozytoriami GitHub i artefaktami w Artifact Registry.
• Znajomość architektury przetwarzania danych i integracji systemów z użyciem Dataflow, Airflow (Composer) i BigQuery.

Responsibilities

• Projektowanie i utrzymanie potoków danych w środowisku GCP.
• Tworzenie i optymalizacja struktur danych wspierających analitykę i raportowanie.
• Automatyzacja wdrożeń i współpraca z zespołami projektowymi.
• Testowanie, monitorowanie i utrzymanie rozwijanych rozwiązań.

Skills

GCP architektura

Python

SQL

Potoki danych

GitHub

BigQuery

Dataflow/Composer

Cloud Storage

DBT

Terraform

Tools

Google Cloud Platform (GCP)

GitHub

BigQuery

Dataflow

Composer (Airflow)

Cloud Storage

Google Artifact Registry

DBT

Terraform

Job description

Edge One Solutions w Warszawie poszukuje specjalisty ds. przetwarzania danych do projektów chmurowych w Google Cloud Platform. Zakres prac obejmuje projektowanie potoków batch i streaming, integracje systemów oraz implementację rozwiązań w GCP, współpracę z analitykami i architektami danych.

Wymagana dobra znajomość Pythona i SQL, doświadczenie z BigQuery, Dataflow, Airflow/Composer, Cloud Storage i GitHub. Doświadczony specjalista w środowisku chmurowym, elastyczna współpraca w zespole.