GCP Data Engineer

emagine; Warszawa; On-site; PLN 180,000 - 256,000; Full time

Job summary

emagine poszukuje programisty GCP, który wesprze rozwój i implementację rozwiązań chmurowych. Praca obejmuje tworzenie potoków danych i współpracę z zespołem w zakresie biznesowych wymagań.

Wymagane doświadczenie w GCP, Pythonie i SQL, znajomość BigQuery, Dataflow, Composer i Cloud Storage. Praca z Terraform i GitHub, z wizytami w biurze w Warszawie 1–2 razy w tygodniu.

Qualifications

• Projektowanie i budowa rozwiązań chmurowych na Google Cloud Platform (GCP).
• Bardzo dobra znajomość Python i SQL.
• Znajomość usług Dataproc, Composer (Airflow), Cloud Storage oraz BigQuery.

Responsibilities

• Rozwój i utrzymanie rozwiązań przetwarzania danych w chmurze GCP.
• Tworzenie potoków danych (batch i streaming) z BigQuery, DBT, Dataflow, Composer oraz Cloud Storage.
• Programowanie w Python i SQL.
• Budowa i optymalizacja struktur danych dla analityki i raportowania.
• Automatyzacja wdrożeń z Terraform oraz GitHub.
• Testowanie, monitorowanie i utrzymanie rozwijanych rozwiązań.
• Współpraca z analitykami, architektami oraz zespołami projektowymi.

Skills

GCP

Python

SQL

BigQuery

Dataflow

Airflow

Dataproc

Cloud Storage

Terraform

GitHub

Tools

GitHub

Terraform

Dataproc

Airflow

Job description

• Stawka: do ok. 158 zł/h netto + VAT, B2B
• Lokalizacja: wizyty 1-2 x w tygodniu w biurze - Warszawa

Informacje o projekcie

• Branża: bankowość
• Stawka: do ok. 158 zł/h netto + VAT, B2B
• Lokalizacja: wizyty 1-2 x w tygodniu w biurze - Warszawa

Podsumowanie

Poszukujemy programisty GCP, który będzie wspierał rozwój i implementację rozwiązań chmurowych, efektywnie współpracując w zespole oraz angażując się w techniczne dyskusje w celu tworzenia innowacyjnych platform danych.

Obowiązki

• Rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Google Cloud Platform (GCP).
• Tworzenie potoków danych (batch i streaming) z wykorzystaniem usług BigQuery, DBT, Dataflow, Composer i Cloud Storage.
• Programowanie w językach Python i SQL.
• Budowa i optymalizacja struktur danych wspierających analitykę i raportowanie.
• Automatyzacja wdrożeń z wykorzystaniem Terraform oraz repozytoriów GitHub.
• Testowanie, monitorowanie i utrzymanie rozwijanych rozwiązań.
• Współpraca z analitykami, architektami oraz zespołami projektowymi przy realizacji wymagań biznesowych.

Wymagania (Must Haves)

• Doświadczenie w projektowaniu i budowie rozwiązań chmurowych na Google Cloud Platform (GCP).
• Bardzo dobra znajomość języków programowania Python i SQL.
• Znajomość usług Dataproc, Composer (Airflow), Cloud Storage oraz Big Query.
• Doświadczenie w pracy z repozytoriami kodu GitHub.
• Doświadczenie w zarządzaniu artefaktami aplikacyjnymi przy wykorzystaniu Google Artifact Registry.

Wymagania (Nice to Haves)

• Znajomość DBT.
• Znajomość Terraform.

Inne szczegóły

• Kategoria 1: Zespół projektowy nastawiony na współpracę i otwartą komunikację.
• Kategoria 2: Środowisko chmurowe Google Cloud Platform.