Lead Data Engineer

Traffit; Warszawa; On-site; PLN 180,000 - 260,000; Full time

Job summary

In4ge poszukuje doświadczonego eksperta ds. inżynierii danych odpowiedzialnego za projektowanie i dostarczanie nowoczesnych platform danych opartych na chmurze. Rola kładzie nacisk na Databricks, Data Lakehouse i governance, z silnym wpływem na architekturę platformy.

Wymagane zaawansowane umiejętności SQL, Python i Spark, oraz doświadczenie w migracjach i orkiestracji danych w środowisku enterprise. Współpraca z międzynarodowym zespołem i kontrakt B2B, praca w Warszawie.

Qualifications

• Ekspercka wiedza i praktyczne doświadczenie w pracy z Databricks.
• Głębokie zrozumienie i doświadczenie w Data Lakehouse.
• Znajomość data governance i compliance.
• Praktyczne doświadczenie z narzędziami orkiestracji (workflow orchestration) oraz migracjami.
• Biegła znajomość SQL, Python, Spark i usług chmurowych.
• Udokumentowane doświadczenie w dostarczaniu platform danych na poziomie enterprise.
• Angielski min. B2/C1 (komunikacja z klientami i zespołem anglojęzycznym).
• Stabilna współpraca na kontrakcie B2B.
• Wymóg wpływu na architekturę nowoczesnej platformy danych.
• Współpraca z doświadczonym zespołem inżynierskim.

Responsibilities

• Prowadzenie obszaru inżynierii danych oraz nadzór nad wdrażaniem rozwiązań technicznych.
• Projektowanie i implementacja skalowalnych potoków danych oraz frameworków przetwarzania.
• Prowadzenie migracji z dotychczasowych platform orkiestracji do chmurowych rozwiązań.
• Definiowanie standardów zarządzania danymi, mapowania pochodzenia danych i metadanych.
• Wdrażanie wzorców wirtualizacji danych oraz integracja z źródłami danych.
• Optymalizacja wydajności, zapewnienie niezawodności i doskonałości operacyjnej.

Skills

Databricks

Data Lakehouse

Data governance

Workflow orchestration

SQL

Python

Spark

Cloud-native services

English B2/C1

Enterprise-scale platforms

Job description

In4ge jest firmą rekrutacyjną, w której wierzymy, że wszystko jest możliwe dzięki odpowiednim ludziom. Naszym celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje, które przyczyniają się do wzrostu i sukcesu każdej ze stron. Uważamy, że prawdziwą wartość stanowią ludzie pracujący wspólnie w atmosferze wzajemnego szacunku i zaufania.

Poszukujemy doświadczonego eksperta w obszarze inżynierii danych, który weźmie odpowiedzialność za projektowanie i dostarczanie nowoczesnych platform danych opartych na chmurze. Rola ta skupia się wokół technologii Databricks, obszaru data governance, frameworków do orkiestracji oraz wirtualizacji danych w środowiskach klasy enterprise.

Zakres roli:

• Prowadzenie obszaru inżynierii danych oraz nadzór nad wdrażaniem rozwiązań technicznych.
• Projektowanie i implementacja skalowalnych potoków danych (data pipelines) oraz frameworków przetwarzania.
• Prowadzenie migracji z dotychczasowych platform orkiestracji do nowoczesnych rozwiązań chmurowych (cloud-native).
• Definiowanie standardów zarządzania danymi (data governance), mapowania pochodzenia danych (data lineage), zarządzania metadanymi oraz kontroli bezpieczeństwa.
• Wdrażanie wzorców wirtualizacji danych i integracja rozwiązań z wieloma źródłami danych.
• Optymalizacja wydajności, dbanie o niezawodność oraz doskonałość operacyjną infrastruktury danych.

Wymagania:

• Ekspercka wiedza i praktyczne doświadczenie w pracy z platformą Databricks.
• Głębokie zrozumienie i doświadczenie we wdrażaniu architektury Data Lakehouse.
• Znajomość procesów, frameworków i narzędzi z obszaru data governance oraz compliance.
• Praktyczne doświadczenie z narzędziami do orkiestracji (workflow orchestration) oraz udział w projektach migracyjnych.
• Biegła znajomość SQL, Python, Spark oraz chmurowych usług danych (cloud-native data services).
• Udokumentowane doświadczenie w dostarczaniu platform danych na poziomie enterprise.
• Praktyczna znajomość języka angielskiego na poziomie min. B2/C1 umożliwiająca swobodną komunikację pisemną i ustną (codzienna współpraca z klientami i współpracownikami anglojęzycznymi).
• Stabilną współpracę w oparciu o kontrakt B2B.
• Zasadniczy wpływ na kształt i architekturę nowoczesnej platformy danych.
• Współpracę z doświadczonym zespołem inżynierskim.

Nie przegap dopasowanych ofert!

Mamy wiele rekrutacji, a nowe projekty pojawiają się na bieżąco. Pamiętaj, że zaznaczając zgodę na przetwarzanie danych w celu przyszłych procesów, będziemy mogli zaprosić Cię do udziału w kolejnych procesach, dopasowanych do Twojego doświadczenia i oczekiwań!

P.S Zamierzamy kontaktować się z Tobą wyłącznie wtedy, kiedy będziemy mieli dla Ciebie ciekawe projekty, bez tej zgody nie będzie to możliwe.

Jak wygląda proces rekrutacyjny in4ge?

Nasz proces rekrutacyjny jest transparentny i skoncentrowany na znalezieniu odpowiedniego kandydata dla naszych klientów. Składając aplikację, możesz liczyć na nasz obiektywizm, szacunek i pełny profesjonalizm.