Senior Data Engineer (GCP)

Scalo; Warszawa; Hybrid; PLN 193,000 - 248,000; Full time

Benefits offered by this job

Opieka medyczna

Karta sportowa

Platforma kafeteryjna

Job summary

Scalo świadczy usługi software’owe i wspiera partnerów w rozwijaniu biznesu. Realizujemy projekty w obszarach chmury, danych i oprogramowania, z naciskiem na architekturę danych i modele hybrydowe pracy w Warszawie.

Współpraca obejmuje projektowanie i utrzymanie systemów danych w Google Cloud Platform, budowę potoków batch i streaming, oraz integrację narzędzi takich jak BigQuery, Dataproc i Airflow. Oferujemy pracę w środowisku zdalno-hybrydowym z możliwością rozwoju kompetencji w Python, SQL

Qualifications

• Doświadczenie w projektowaniu i budowie rozwiązań chmurowych w Google Cloud Platform (GCP).
• Praktyczne doświadczenie w projektowaniu i implementacji systemów przetwarzania danych oraz integracji systemów.
• Bardzo dobra znajomość BigQuery, Dataproc, Composer (Airflow) oraz Cloud Storage.
• Bardzo dobra znajomość Python i SQL, pozwalająca na samodzielne tworzenie i rozwój aplikacji oraz komponentów integracyjnych.
• Doświadczenie z potokami danych i procesami ich przetwarzania.
• Znajomość GitHub i pracy z repozytoriami kodu; doświadczenie z Google Artifact Registry.
• Umiejętność samodzielnej realizacji zadań przy współpracy z zespołem; stosowanie standardów technicznych i architektonicznych.
• Komunikatywność i chęć uwzględniania potrzeb biznesowych podczas projektowania rozwiązań.

Responsibilities

• Rozwój i utrzymanie rozwiązań do przetwarzania danych w środowisku Google Cloud Platform (GCP).
• Projektowanie i tworzenie potoków danych typu batch i streaming.
• Wykorzystanie usług BigQuery, Dataproc, Composer (Airflow) oraz Cloud Storage.
• Rozwój komponentów i aplikacji w Pythonie oraz SQL.
• Budowa i optymalizacja struktur danych wspierających analitykę i raportowanie.
• Automatyzacja procesów wdrożeniowych z wykorzystaniem Terraform i GitHub.
• Zarządzanie artefaktami aplikacyjnymi przy użyciu Google Artifact Registry.
• Testowanie, monitorowanie oraz utrzymywanie rozwijanych rozwiązań.
• Współpraca z analitykami, architektami i zespołami projektowymi przy realizacji wymagań biznesowych.
• Udział w dyskusjach dotyczących architektury i długofalowego rozwoju platformy danych.

Skills

Python coding

SQL

GCP knowledge

Data pipelines

Independent work

Team collaboration

Tools

Google Cloud Platform (GCP)

BigQuery

Dataproc

Composer (Airflow)

Cloud Storage

GitHub

Google Artifact Registry

Terraform

Job description

O firmie

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,
• tworzenie oprogramowania,
• systemy wbudowane,
• rozwiązania chmurowe,
• zarządzanie danymi,
• dedykowane zespoły projektowe.

Zakres współpracy

• rozwój i utrzymanie rozwiązań do przetwarzania danych w środowieniu Google Cloud Platform (GCP),
• projektowanie i tworzenie potoków danych typu batch i streaming,
• wykorzystanie usług BigQuery, Dataflow, Dataproc, Composer (Airflow) oraz Cloud Storage,
• rozwój komponentów i aplikacji w Pythonie oraz SQL,
• budowę i optymalizację struktur danych wspierających analitykę i raportowanie,
• automatyzację procesów wdrożeniowych z wykorzystaniem Terraform i GitHub,
• zarządzanie artefaktami aplikacyjnymi przy wykorzystaniu Google Artifact Registry,
• testowanie, monitorowanie oraz utrzymanie rozwijanych rozwiązań,
• współpracę z analitykami, architektami i zespołami projektowymi przy realizacji wymagań biznesowych,
• aktywny udział w dyskusjach dotyczących architektury oraz długofalowego rozwoju platformy danych,
• świadczenie usług w modelu hybrydowym z Warszawy,
• stawkę do 160 PLN/h NET + VAT na B2B.

Kompetencje wymagane

• doświadczenie w projektowaniu i budowie rozwiązań chmurowych w Google Cloud Platform (GCP),
• praktyczne doświadczenie w projektowaniu i implementacji systemów przetwarzania danych oraz integracji systemów,
• bardzo dobra znajomość BigQuery, Dataproc, Composer (Airflow) oraz Cloud Storage,
• bardzo dobra znajomość Python i SQL, pozwalająca na samodzielne tworzenie i rozwój aplikacji oraz komponentów integracyjnych,
• doświadczenie w pracy z potokami danych i procesami ich przetwarzania,
• znajomość GitHub oraz doświadczenie w pracy z repozytoriami kodu,
• doświadczenie z Google Artifact Registry,
• umiejętność samodzielnej realizacji zadań przy jednoczesnej współpracy z zespołem,
• umiejętność pracy zgodnie z przyjętymi standardami technicznymi i architektonicznymi,
• komunikatywność, otwartość na wymianę wiedzy oraz umiejętność uwzględniania potrzeb biznesowych podczas projektowania rozwiązań.

Co oferujemy

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.