Lead Data Engineer

in4ge sp. z o.o.; Poznań, Wrocław, Katowice, Łódź; Sur place; PLN 180 000 - 300 000; Plein temps

Avantages offerts par ce poste

Kontrakt B2B

Résumé du poste

In4ge sp. z o.o. poszukuje doświadczonego eksperta w inżynierii danych, specjalizującego się w Databricks, architekturze Data Lakehouse i data governance. Rola obejmuje projektowanie skalowalnych potoków danych, migracje do chmur i definiowanie standardów zarządzania danymi.

Wymagana zaawansowana znajomość SQL, Python i Spark, a także doświadczenie z integracją źródeł danych i bezpieczeństwem danych. Praca na projekcie enterprise z możliwością współpracy z klientami anglojęzycznymi.

Qualifications

• Wymagana ekspertyza w Databricks i praktyczne doświadczenie z architekturą Data Lakehouse.
• Znajomość procesów data governance, data lineage, metadanych i bezpieczeństwa danych.
• Znajomość narzędzi do orkiestracji przepływów danych oraz migracji do chmur (cloud-native).
• Biegła znajomość SQL, Python i Spark oraz usług chmurowych (cloud-native data services).
• Angielski na poziomie B2/C1 do codziennej komunikacji z klientami i zespołem.

Responsabilités

• Prowadzenie obszaru inżynierii danych i nadzór nad wdrażaniem rozwiązań technicznych.
• Projektowanie i implementacja skalowalnych potoków danych i frameworków przetwarzania.
• Prowadzenie migracji z dotychczasowych platform do nowoczesnych rozwiązań cloud-native.
• Definiowanie standardów zarządzania danymi, mapowania pochodzenia danych i metadanych.
• Wdrażanie wzorców wirtualizacji danych i integracja z wieloma źródłami danych.
• Optymalizacja wydajności, zapewnienie niezawodności i doskonałości operacyjnej infrastruktury danych.

Connaissances

Databricks

Data Lakehouse

Data governance

Cloud-native

SQL

Python

Spark

Outils

Workflow orchestration

Description du poste

Everything is possible with the right people In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.

Poszukujemy doświadczonego eksperta w obszarze inżynierii danych, który weźmie odpowiedzialność za projektowanie i dostarczanie nowoczesnych platform danych opartych na chmurze. Rola ta skupia się wokół technologii Databricks, obszaru data governance, frameworków do orkiestracji oraz wirtualizacji danych w środowiskach klasy enterprise.

Zakres roli:

• Prowadzenie obszaru inżynierii danych oraz nadzór nad wdrażaniem rozwiązań technicznych.
• Projektowanie i implementacja skalowalnych potoków danych (data pipelines) oraz frameworków przetwarzania.
• Prowadzenie migracji z dotychczasowych platform orkiestracji do nowoczesnych rozwiązań chmurowych (cloud-native).
• Definiowanie standardów zarządzania danymi (data governance), mapowania pochodzenia danych (data lineage), zarządzania metadanymi oraz kontroli bezpieczeństwa.
• Wdrażanie wzorców wirtualizacji danych i integracja rozwiązań z wieloma źródłami danych.
• Optymalizacja wydajności, dbanie o niezawodność oraz doskonałość operacyjną infrastruktury danych.

Wymagania:

• Ekspercka wiedza i praktyczne doświadczenie w pracy z platformą Databricks.
• Głębokie zrozumienie i doświadczenie we wdrażaniu architektury Data Lakehouse.
• Znajomość procesów, frameworków i narzędzi z obszaru data governance oraz compliance.
• Praktyczne doświadczenie z narzędziami do orkiestracji (workflow orchestration) oraz udział w projektach migracyjnych.
• Biegła znajomość SQL, Python, Spark oraz chmurowych usług danych (cloud-native data services).
• Udokumentowane doświadczenie w dostarczaniu platform danych na poziomie enterprise.
• Praktyczna znajomość języka angielskiego na poziomie min. B2/C1 umożliwiająca swobodną komunikację pisemną i ustną (codzienna współpraca z klientami i współpracownikami anglojęzycznymi).

Proponujemy:

• Stabilną współpracę w oparciu o kontrakt B2B.
• Zasadniczy wpływ na kształt i architekturę nowoczesnej platformy danych.
• Współpracę z doświadczonym zespołem inżynierskim.

P.S Zamierzamy kontaktować się z Tobą wyłącznie wtedy, kiedy będziemy mieli dla Ciebie ciekawe projekty, bez tej zgody nie będzie to możliwe.

Jak wygląda proces rekrutacyjny in4ge?

Nasz proces rekrutacyjny jest transparentny i skoncentrowany na znalezieniu odpowiedniego kandydata dla naszych klientów. Składając aplikację, możesz liczyć na nasz obiektywizm, szacunek i pełny profesjonalizm.

We connect you with the right people