Senior Data Engineer: Cloud Lakehouse & Databricks Expert

in4ge sp. z o.o.; Poznań, Wrocław, Katowice, Łódź; Vor Ort; PLN 180.000 - 300.000; Vollzeit

Benefits dieser Stelle

Kontrakt B2B

Zusammenfassung

In4ge sp. z o.o. poszukuje doświadczonego eksperta w inżynierii danych, specjalizującego się w Databricks, architekturze Data Lakehouse i data governance. Rola obejmuje projektowanie skalowalnych potoków danych, migracje do chmur i definiowanie standardów zarządzania danymi.

Wymagana zaawansowana znajomość SQL, Python i Spark, a także doświadczenie z integracją źródeł danych i bezpieczeństwem danych. Praca na projekcie enterprise z możliwością współpracy z klientami anglojęzycznymi.

Qualifikationen

• Wymagana ekspertyza w Databricks i praktyczne doświadczenie z architekturą Data Lakehouse.
• Znajomość procesów data governance, data lineage, metadanych i bezpieczeństwa danych.
• Znajomość narzędzi do orkiestracji przepływów danych oraz migracji do chmur (cloud-native).
• Biegła znajomość SQL, Python i Spark oraz usług chmurowych (cloud-native data services).
• Angielski na poziomie B2/C1 do codziennej komunikacji z klientami i zespołem.

Aufgaben

• Prowadzenie obszaru inżynierii danych i nadzór nad wdrażaniem rozwiązań technicznych.
• Projektowanie i implementacja skalowalnych potoków danych i frameworków przetwarzania.
• Prowadzenie migracji z dotychczasowych platform do nowoczesnych rozwiązań cloud-native.
• Definiowanie standardów zarządzania danymi, mapowania pochodzenia danych i metadanych.
• Wdrażanie wzorców wirtualizacji danych i integracja z wieloma źródłami danych.
• Optymalizacja wydajności, zapewnienie niezawodności i doskonałości operacyjnej infrastruktury danych.

Kenntnisse

Databricks

Data Lakehouse

Data governance

Cloud-native

SQL

Python

Spark

Tools

Workflow orchestration

Jobbeschreibung

In4ge sp. z o.o. poszukuje doświadczonego eksperta w inżynierii danych, specjalizującego się w Databricks, architekturze Data Lakehouse i data governance. Rola obejmuje projektowanie skalowalnych potoków danych, migracje do chmur i definiowanie standardów zarządzania danymi.

Wymagana zaawansowana znajomość SQL, Python i Spark, a także doświadczenie z integracją źródeł danych i bezpieczeństwem danych. Praca na projekcie enterprise z możliwością współpracy z klientami anglojęzycznymi.