Developer Hurtowni Danych

GOLDENORE ITC sp. z o.o.; Warszawa; Hybrid; PLN 240,000 - 360,000; Full time

Job summary

GOLDENORE ITC sp. z o.o. poszukuje Senior Data Engineer / Developera HD. Dołączysz do zespołu realizującego projekt integracji Databricks z Oracle i SAS, łącząc on-premise z chmurą.

Pracujesz nad ETL, architekturą danych i automatyzacjami w środowisku hybrid cloud, w tym CI/CD i narzędziami Git. Rola wymaga doświadczenia w hurtowniach danych, modelowaniu danych oraz projektowaniu rozwiązań analitycznych. Praca hybrydowa: 1 dzień w tygodniu w Warszawie, z możliwością pracy zdalnej w ograniczonych

Qualifications

• Praktyczne doświadczenie w budowie i rozwoju hurtowni danych.
• Bardzo dobra znajomość Oracle oraz SAS/Viya będą mile widziane.
• Doświadczenie w projektowaniu i implementacji procesów ETL i modelowaniu danych.
• Znajomość projektowania przepływów danych i architektury danych.
• Praktyczna znajomość Databricks i integracji z systemami zewnętrznymi.
• Praca w środowisku cloud data platform, z podejściem hybrid cloud.
• Znajomość Git, GitHub, Bitbucket, Bamboo oraz automatyzacji CI/CD.
• Doświadczenie z AI / GitHub Copilot w pracy developerskiej lub analitycznej.
• Umiejętności projektowania rozwiązań analitycznych oraz standardów technicznych.

Responsibilities

• Integracja platformy Databricks z Hurtownią Danych opartą o Oracle i SAS.
• Projektowanie i implementacja procesów ETL oraz przepływów danych między cloud a on-premise.
• Integracja Databricks, Azure Data Factory i Oracle oraz przygotowywanie danych do HD.
• Udział w architekturze danych i definiowaniu standardów technicznych.
• Projektowanie interfejsów wymiany danych między systemami.
• Automatyzacja procesów wytwarzania i utrzymania rozwiązań z CI/CD, GitHub Copilot i VS Code.
• Rozwój HD/BI w SAS, Oracle, Microsoft Fabric, Python i Kafka; budowa data martów i raportów BI.
• Wsparcie strategicznych projektów Data & Analytics pod kątem integracji i architektury.

Skills

Hurtownia Danych

Oracle

ETL

Modelowanie danych

Projektowanie przepływów danych

Databricks

Cloud Data Platform

Databricks - integracja

Hybrid cloud

Data & Analytics

Git

GitHub

Bitbucket

Bamboo

GitHub Copilot

Architektura danych

Standardy techniczne

Projektowanie rozwiązań analitycznych

Tools

Databricks

Azure Data Factory

Visual Studio Code

Python

Parquet

Kafka

Oracle

SAS

Microsoft Fabric

Job description

Nasze wymagania:

• praktycznego doświadczenia w budowie i rozwoju Hurtowni Danych,
• bardzo dobrej znajomości Oracle,
• doświadczenia w projektowaniu i implementacji procesów ETL,
• bardzo dobrej znajomości modelowania danych i projektowania przepływów danych,
• praktycznej znajomości Databricks,
• doświadczenia w pracy z danymi w środowisku cloud data platform,
• doświadczenia w integracji Databricks z systemami zewnętrznymi,
• doświadczenia w środowiskach hybrydowych: cloud + on-premise,
• doświadczenia w projektach Data & Analytics,
• znajomości Git / GitHub / Bitbucket / Bamboo oraz automatyzacji procesu wytwarzania,
• doświadczenia w wykorzystaniu AI / GitHub Copilot w pracy developerskiej lub analitycznej,
• umiejętności projektowania rozwiązań analitycznych, definiowania standardów technicznych oraz architektury rozwiązań danych.

Mile widziane:

• znajomość Oracle Exadata,
• znajomość SAS 9.4 i SAS Viya,
• doświadczenie z procesami realizowanymi w środowisku SAS,
• znajomość Azure Data Factory,
• doświadczenie w integracji danych pomiędzy środowiskiem cloud i on-premise,
• znajomość platform danych w Microsoft Azure,
• znajomość nowoczesnych architektur danych,
• doświadczenie z Microsoft Fabric,
• znajomość Python i tworzenia skryptów integracyjnych,
• znajomość formatu Parquet i warstw Data Lake,
• doświadczenie z Apache Kafka i strumieniowym przetwarzaniem danych.

O projekcie:

Dołącz do projektu realizowanego dla dużej organizacji z branży ubezpieczeniowej i pracuj przy integracji nowoczesnej platformy chmurowej z istniejącym środowiskiem Hurtowni Danych. Poszukujemy doświadczonego Senior Data Engineera / Developera HD, który wesprze rozwój i integrację środowiska danych łączącego Databricks i Azure z rozwiązaniami on-premise opartymi o Oracle i SAS. Rola łączy praktyczną pracę z danymi i procesami ETL z udziałem w projektowaniu architektury, standardów technicznych oraz rozwiązań integracyjnych. Pracujemy hybrydowo – 1x w tygodniu w Warszawie.

Zakres obowiązków:

• integracja platformy Databricks z istniejącą Hurtownią Danych opartą o Oracle i SAS,
• projektowanie i implementacja procesów ETL oraz przepływów danych pomiędzy środowiskiem cloud i on-premise,
• integracja Databricks, Azure Data Factory i Oracle oraz przygotowywanie danych do dalszego przetwarzania w HD,
• udział w projektowaniu architektury rozwiązań danych i definiowaniu standardów technicznych,
• projektowanie interfejsów wymiany danych pomiędzy systemami,
• automatyzacja procesów wytwarzania i utrzymania rozwiązań z wykorzystaniem CI/CD, GitHub Copilot i Visual Studio Code,
• rozwój i utrzymanie rozwiązań HD/BI w technologiach SAS, Oracle, Microsoft Fabric, Python i Kafka,
• budowa technicznych data martów, raportów BI oraz komponentów wspierających przetwarzanie i optymalizację danych,
• technologiczne, integracyjne i architektoniczne wsparcie strategicznych projektów Data & Analytics.