Data Engineer (K/M/N)

Aether Biomedical; Deutschland; Remote; EUR 70.000 - 110.000; Vollzeit

Zusammenfassung

Randlab dynamiczna firma technologiczna poszukuje inżyniera danych do rozwijania platformy CDP opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform. Zakres obejmuje budowę i utrzymanie pipeline'ów danych oraz pracę nad procesami ETL/ELT i rozwojem usług BigQuery.

Wymagamy praktycznej znajomości GCP, BigQuery, SQL, Pythona i narzędzi danych. Praca w międzynarodowym zespole, możliwość współpracy z PM-ami, monitorowanie jakości danych i utrzymanie architektury danych.

Qualifikationen

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in . Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.

Aufgaben

• Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy CDP w GCP.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa i utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych i zapewnianiu jakości danych.

Kenntnisse

Komunikacja i organizacja

Współpraca z IT i PM

Python

SQL

Angielski (biegły)

Data governance

Deduplikacja danych

Wersjonowanie danych

Tools

Google Cloud Platform (GCP)

BigQuery

Cloud Storage

Cloud Dataflow (Apache Beam)

Cloud Composer (Apache Airflow)

Datastream

Dataplex

Pub/Sub

Dataform

Git

Pandas

ANSI SQL / BigQuery SQL

MySQL

PostgreSQL

MS SQL Server

Medallion Architecture

ETL/ELT

Data Governance

Cloud Monitoring

Cloud Logging

Jobbeschreibung

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

Twój zakres obowiązków

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Nasze wymagania

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in . Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.

Randlab

Randlab to dynamiczna firma technologiczna, która tworzy innowacyjne rozwiązania dla nowoczesnego biznesu. Specjalizujemy się w tworzeniu oprogramowania, aplikacji mobilnych oraz systemów zarządzania danymi. Company profile