Architekt IT (Python+GCP)

HeadHR; Town of Poland (NY); On-site; USD 53,851 - 76,698; Full time

Benefits offered by this job

Platforma danych w chmurze

DataOps i dobre praktyki

Projektowanie skalowalnych architektur

Job summary

HeadHR w Warszawie poszukuje specjalisty ds. inżynierii danych do projektowania i rozwoju rozwiązań w chmurze GCP. Do zakresu obowiązków należy tworzenie i utrzymanie pipeline’ów danych, integracja danych oraz implementacja narzędzi takich jak Dataproc, Composer, Cloud Storage i BigQuery.

Wymagane umiejętności obejmują Python, SQL, DBT, GitHub i Terraform. Praca obejmuje współpracę z zespołem projektowym oraz dbanie o zgodność architektury z wytycznymi biznesowymi klienta.

Qualifications

• Masz doświadczenie w projektowaniu i budowie rozwiązań opartych o Google Cloud Platform (GCP).
• Swobodnie pracujesz z Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery.
• Posiadasz doświadczenie w wykorzystaniu DBT i zarządzaniu kodem w GitHub.

Responsibilities

• Projektowanie i rozwój rozwiązań w środowisku Google Cloud Platform w projekcie dla sektora bankowego.
• Budowa i rozwój procesów przetwarzania oraz integracji danych.
• Tworzenie i utrzymanie pipeline'ów danych z wykorzystaniem usług GCP.
• Implementacja rozwiązań opartych o Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery.
• Tworzenie i rozwój komponentów w językach Python oraz SQL.
• Zarządzanie kodem źródłowym w GitHub.
• Wykorzystanie Google Artifact Registry do zarządzania artefaktami aplikacyjnymi.
• Automatyzacja i utrzymanie infrastruktury z wykorzystaniem Terraform.

Skills

GCP

Python

SQL

Data architecture

Data integration

Data processing

Team collaboration

Tools

Dataproc

Composer (Airflow)

Cloud Storage

BigQuery

DBT

GitHub

Google Artifact Registry

Terraform

Job description

Responsibilities

• Projektowanie i rozwój rozwiązań w środowisku Google Cloud Platform w projekcie dla sektora bankowego
• Budowa i rozwój procesów przetwarzania oraz integracji danych
• Tworzenie oraz utrzymanie pipeline'ów danych z wykorzystaniem usług GCP
• Implementacja rozwiązań opartych o Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery
• Tworzenie i rozwój komponentów w językach Python oraz SQL
• Zarządzanie kodem źródłowym w GitHub
• Wykorzystanie Google Artifact Registry do zarządzania artefaktami aplikacyjnymi
• Automatyzacja i utrzymanie infrastruktury z wykorzystaniem Terraform
• Współpraca z zespołem projektowym przy projektowaniu architektury danych i rozwiązań chmurowych
• Dbanie o zgodność realizowanych rozwiązań ze standardami technicznymi i architektonicznymi

Location

Warszawa (2 razy w tygodniu)

Compensation

Stawka: do 180 zł netto + VAT/H/B2B

Qualifications

• Masz doświadczenie w projektowaniu i budowie rozwiązań opartych o Google Cloud Platform (GCP)
• Swobodnie pracujesz z Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery
• Posiadasz doświadczenie w wykorzystaniu DBT
• Bardzo dobrze znasz Python oraz SQL
• Korzystasz z GitHub i Google Artifact Registry
• Pracujesz z Terraform i automatyzacją infrastruktury
• Znasz zagadnienia związane z architekturą danych, integracją systemów oraz przetwarzaniem danych
• Potrafisz efektywnie współpracować w środowisku projektowym i dostosowywać się do potrzeb biznesowych klienta

Additional advantages

• Doświadczenie przy budowie platform danych w środowiskach chmurowych
• Znajomość dobrych praktyk Data Engineering oraz DataOps
• Doświadczenie w projektowaniu skalowalnych architektur danych