Senior Data Engineer

Be in IT; Warszawa; Hybrid; PLN 193,000 - 234,000; Full time

Benefits offered by this job

Prywatna opieka medyczna

Karta Multisport

Nowoczesny sprzęt

Job summary

Be in IT to firma rekrutacyjna wyspecjalizowana w poszukiwaniu specjalistów IT. Obecnie poszukujemy Senior Data Engineer dla międzynarodowego klienta, który przekształca dane źródłowe w wiarygodne zasoby.

Zakres obejmuje budowę pipeline’ów, integrację danych, modele danych oraz dashboardy umożliwiające szybki dostęp do danych w jednym projekcie. Praca z ERP, SharePoint i arkuszami kalkulacyjnymi, a także ścisła współpraca z właścicielami danych i interesariuszami w środowisku międzynarodowym.

Qualifications

• Minimum 4 lat doświadczenia zawodowego.
• Wykształcenie wyższe (licencjat/inżynier) lub wyższy.
• Doświadczenia w budowaniu pipeline'ów oraz modeli danych na Snowflake i Databricks (SQL, Python, PySpark).
• Doświadczenia w integracji danych z ERP, SharePoint, API oraz plików typu flat files.
• Umiejętności projektowania mechanizmów reconciliation i walidacji danych.

Responsibilities

• Współpraca z klientem i ownerami danych w celu zrozumienia źródeł danych.
• Projektowanie architektury danych i wybór narzędzi build-vs-buy.
• Budowa pipeline'ów, integracja danych i modeli danych.
• Tworzenie dashboardów i widoków self-serve dla zespołów.
• Zapewnianie jakości danych i zgodności (compliance) na każdym etapie zaangażowania.
• Coachowanie młodszych inżynierów w zespole.

Job description

Be in IT to firma rekrutacyjna, wyspecjalizowana w poszukiwaniu Specjalistów z branży technologii informatycznych. Obecnie, dla naszego klienta, poszukujemy osoby na stanowisko Senior Data Engineer.

Zakres obowiązków:

• Długofalowa współpraca z międzynarodową, topową firmą consultingową, świadczącą usługi IT dla dużych i średnich firm z różnorodnych sektorów.
• Przyjęcie odpowiedzialności Forward Deployed Data Engineer w strukturach klienta przekształcając rozproszone i niespójne dane źródłowe w zweryfikowane i zaufane zasoby.
• Praca z danymi w miejscach ich występowania, w systemach ERP, u administratorów danych, na SharePoint oraz w plikach arkuszy kalkulacyjnych.
• Budowanie integracji, pipeline'ów, modeli danych oraz dashboardów umożliwiających wykorzystanie danych w ramach jednego zaangażowania.
• Zapewnienie zgodności liczb aby każda wartość miała możliwość odtworzenia ścieżki do swojego źródła.
• Bycie głównym wykonawcą w dwuosobowym zespole zapewniając samodzielną realizację większości pracy Zespołu przy jednoczesnym coachingu i wsparciu drugiego inżyniera w zespole.
• Odpowiedzialność za cały workstream danych tj. od rozpoznania źródeł danych, poprzez ich walidację, po uzgodniony wynik końcowy.
• Bezpośrednia współpraca z właścicielami danych u klienta w celu zrozumienia poszczególnych systemów oraz wyjaśniania znaczenia danych osobom nietechnicznym.
• Rozpoznawanie, profilowanie i rozumienie systemów źródłowych, w tym ERP, właścicieli danych, SharePoint oraz plików.
• Samodzielne wykonywanie większości prac: pobieraniem, integracja oraz pipeline'y transformacyjne, które są wdrażane szybko i odświeżane w miarę walidacji danych.
• Modelowanie danych do analizy oraz budowanie mechanizmów uzgodnieniowych i walidacji, tak aby wyniki były zgodne i posiadały możliwość odtworzenia ścieżki do źródła.
• Dostarczanie dashboardów oraz widoków self-serve, dających zespołowi wiarygodny obraz danych.
• Bezpośrednia współpraca z interesariuszami u klienta w celu wyjaśnienia pochodzenia danych, rozwiązywania niezgodności oraz budowania zaufania do liczb.
• Ustalanie architektury danych oraz podejmowanie praktycznych decyzji dotyczących narzędzi oraz wyboru build-vs-buy dla danego zaangażowania.
• Promowanie reużywalnych wzorców integracji, mapowania oraz walidacji w ramach głównej platformy.
• Zapewnienie jakości danych, bezpieczeństwa oraz zgodności (compliance) na każdym etapie zaangażowania.

Oczekujemy:

• Minimum 4 lat doświadczenia zawodowego.
• Wykształcenia wyższego (tytuł licencjata/inżyniera lub wyższy). Preferowane kierunki studiów: Management Information Systems, Computer and Information Science, Systems Engineering, Matematyka lub Statystyka.
• Doświadczenia w budowaniu pipeline'ów oraz modeli danych na Snowflake i Databricks (SQL, Python, PySpark), z wykorzystaniem Sigma lub porównywalnego narzędzia BI do dostarczania wyników.
• Doświadczenia w integracji danych z systemów ERP, fund administration, SharePoint, API oraz plików typu flat files w zwalidowany, gotowy do analizy model danych.
• Umiejętności projektowania mechanizmów reconciliation, walidacji oraz kontroli jakości danych, a także dbałości o to, aby dane faktycznie się zgadzały (tie out).
• Umiejętności stosowania modelowania dimensional oraz performance tuning w celu szybkiego wdrażania wiarygodnych danych.
• Zdolności do pozostania hands-on jako senior engineer przy jednoczesnym coachingu mniej doświadczonego członka zespołu.
• Umiejętności bezpośredniej komunikacji z właścicielami danych u klienta, zadawania właściwych pytań oraz wyjaśniania pochodzenia danych osobom nietechnicznym.
• Umiejętności aktywnego słuchania oraz szybkiego uczenia się nieznanych systemów źródłowych i nowej domeny biznesowej.
• Doświadczenia we wdrażaniu anonimizacji danych oraz najlepszych praktyk w zakresie bezpieczeństwa i zgodności (compliance) w środowiskach klienckich.
• Zrozumienia zasad responsible AI w kontekście wykorzystania danych w przepływach AI.
• Znajomości języka angielskiego na poziomie B2 lub C1 umożliwiająca swobodną komunikację w międzynarodowym środowisku.
• Mile widziana dostępność ASAP; akceptowalny jest maksymalnie miesięczny okres wypowiedzenia ze skutkiem na koniec miesiąca.

Oferujemy:

• Długofalowa współpraca z wynagrodzeniem w przedziale 140-170 PLN netto/godz. + VAT.
• Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.
• Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).
• Benefity - prywatna opieka medyczna, karta Multisport.
• Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.

Współpraca w pełni zdalna.