Senior Data Engineer, GCP — Data Pipelines & Cloud

Scalo; Warszawa; Hybrid; PLN 193,000 - 248,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalo świadczy usługi software’owe i wspiera partnerów w rozwijaniu biznesu. Realizujemy projekty w obszarach chmury, danych i oprogramowania, z naciskiem na architekturę danych i modele hybrydowe pracy w Warszawie.

Współpraca obejmuje projektowanie i utrzymanie systemów danych w Google Cloud Platform, budowę potoków batch i streaming, oraz integrację narzędzi takich jak BigQuery, Dataproc i Airflow. Oferujemy pracę w środowisku zdalno-hybrydowym z możliwością rozwoju kompetencji w Python, SQL

Qualifications

• Doświadczenie w projektowaniu i budowie rozwiązań chmurowych w Google Cloud Platform (GCP).
• Praktyczne doświadczenie w projektowaniu i implementacji systemów przetwarzania danych oraz integracji systemów.
• Bardzo dobra znajomość BigQuery, Dataproc, Composer (Airflow) oraz Cloud Storage.
• Bardzo dobra znajomość Python i SQL, pozwalająca na samodzielne tworzenie i rozwój aplikacji oraz komponentów integracyjnych.
• Doświadczenie z potokami danych i procesami ich przetwarzania.
• Znajomość GitHub i pracy z repozytoriami kodu; doświadczenie z Google Artifact Registry.
• Umiejętność samodzielnej realizacji zadań przy współpracy z zespołem; stosowanie standardów technicznych i architektonicznych.
• Komunikatywność i chęć uwzględniania potrzeb biznesowych podczas projektowania rozwiązań.

Responsibilities

• Rozwój i utrzymanie rozwiązań do przetwarzania danych w środowisku Google Cloud Platform (GCP).
• Projektowanie i tworzenie potoków danych typu batch i streaming.
• Wykorzystanie usług BigQuery, Dataproc, Composer (Airflow) oraz Cloud Storage.
• Rozwój komponentów i aplikacji w Pythonie oraz SQL.
• Budowa i optymalizacja struktur danych wspierających analitykę i raportowanie.
• Automatyzacja procesów wdrożeniowych z wykorzystaniem Terraform i GitHub.
• Zarządzanie artefaktami aplikacyjnymi przy użyciu Google Artifact Registry.
• Testowanie, monitorowanie oraz utrzymywanie rozwijanych rozwiązań.
• Współpraca z analitykami, architektami i zespołami projektowymi przy realizacji wymagań biznesowych.
• Udział w dyskusjach dotyczących architektury i długofalowego rozwoju platformy danych.

Skills

Python coding

SQL

GCP knowledge

Data pipelines

Independent work

Team collaboration

Tools

Google Cloud Platform (GCP)

BigQuery

Dataproc

Composer (Airflow)

Cloud Storage

GitHub

Google Artifact Registry

Terraform

Job description

Scalo świadczy usługi software’owe i wspiera partnerów w rozwijaniu biznesu. Realizujemy projekty w obszarach chmury, danych i oprogramowania, z naciskiem na architekturę danych i modele hybrydowe pracy w Warszawie.

Współpraca obejmuje projektowanie i utrzymanie systemów danych w Google Cloud Platform, budowę potoków batch i streaming, oraz integrację narzędzi takich jak BigQuery, Dataproc i Airflow. Oferujemy pracę w środowisku zdalno-hybrydowym z możliwością rozwoju kompetencji w Python, SQL