GCP Data Architect | Python, BigQuery & Airflow

HeadHR; Town of Poland (NY); Hybrid; USD 53,851 - 76,698; Full time

Benefits offered by this job

Platforma danych w chmurze

DataOps i dobre praktyki

Projektowanie skalowalnych architektur

Job summary

HeadHR w Warszawie poszukuje specjalisty ds. inżynierii danych do projektowania i rozwoju rozwiązań w chmurze GCP. Do zakresu obowiązków należy tworzenie i utrzymanie pipeline’ów danych, integracja danych oraz implementacja narzędzi takich jak Dataproc, Composer, Cloud Storage i BigQuery.

Wymagane umiejętności obejmują Python, SQL, DBT, GitHub i Terraform. Praca obejmuje współpracę z zespołem projektowym oraz dbanie o zgodność architektury z wytycznymi biznesowymi klienta.

Qualifications

• Masz doświadczenie w projektowaniu i budowie rozwiązań opartych o Google Cloud Platform (GCP).
• Swobodnie pracujesz z Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery.
• Posiadasz doświadczenie w wykorzystaniu DBT i zarządzaniu kodem w GitHub.

Responsibilities

• Projektowanie i rozwój rozwiązań w środowisku Google Cloud Platform w projekcie dla sektora bankowego.
• Budowa i rozwój procesów przetwarzania oraz integracji danych.
• Tworzenie i utrzymanie pipeline'ów danych z wykorzystaniem usług GCP.
• Implementacja rozwiązań opartych o Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery.
• Tworzenie i rozwój komponentów w językach Python oraz SQL.
• Zarządzanie kodem źródłowym w GitHub.
• Wykorzystanie Google Artifact Registry do zarządzania artefaktami aplikacyjnymi.
• Automatyzacja i utrzymanie infrastruktury z wykorzystaniem Terraform.

Skills

GCP

Python

SQL

Data architecture

Data integration

Data processing

Team collaboration

Tools

Dataproc

Composer (Airflow)

Cloud Storage

BigQuery

DBT

GitHub

Google Artifact Registry

Terraform

Job description

HeadHR w Warszawie poszukuje specjalisty ds. inżynierii danych do projektowania i rozwoju rozwiązań w chmurze GCP. Do zakresu obowiązków należy tworzenie i utrzymanie pipeline’ów danych, integracja danych oraz implementacja narzędzi takich jak Dataproc, Composer, Cloud Storage i BigQuery.

Wymagane umiejętności obejmują Python, SQL, DBT, GitHub i Terraform. Praca obejmuje współpracę z zespołem projektowym oraz dbanie o zgodność architektury z wytycznymi biznesowymi klienta.