Data Engineer

Connectis_; Warszawa; On-site; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Polecenia znajomych 5 000 PLN

Elastyczna forma współpracy B2B

Szybki i zdalny proces

Job summary

Connectis_ poszukuje doświadczonej osoby na stanowisko Data Engineer. Główny zakres obejmuje tworzenie i rozwijanie warstwy danych w Microsoft Fabric, integrację źródeł i przygotowanie danych dla modeli ryzyka w sektorze ubezpieczeniowym.

Zakres prac to pipeline'y danych w Data Factory, PySpark, wersjonowanie zestawów danych, meetingi koordynacyjne w Warszawie (ok. 1x w tygodniu) i dbałość o bezpieczeństwo danych.

Qualifications

• Minimum 3 lata doświadczenia komercyjnego jako Data Engineer.
• Doświadczenie w pracy z platformami chmurowymi do przetwarzania danych, w szczególności Microsoft Fabric, Azure Synapse lub Databricks.
• Znajomość warstwowej architektury danych, Delta Lake/Parquet i Azure Data Lake Storage.

Responsibilities

• Opracowanie i wdrożenie pipeline'ów danych w Data Factory oraz notebooków PySpark w Microsoft Fabric.
• Wdrożenie wersjonowania zestawów danych oraz rejestracji metadanych.
• Opracowanie reguł transformacji i zapewnienie zgodności z przepisami bezpieczeństwa danych.
• Transformacja danych wsadowych i implementacja kontroli jakości oraz raportowania błędów.
• Integracja źródeł plikowych i bazodanowych, onboarding danych i standaryzacja formatów.
• Zarządzanie kodem w repozytorium Git, code review i CI/CD.
• Optymalizacja procesów pod kątem wydajności, stabilności i kosztów w Azure.

Skills

Python PySpark

SQL

Big data processing

Tools

Microsoft Fabric

Azure Synapse

Databricks

Git

CI/CD

Excel

Job description

Lokalizacja: Otwartość na okazjonalne spotkania koordynacyjne w Warszawie, ustalane w zależności od potrzeb projektu (orientacyjnie 1x w tygodniu)

Wspólnie z naszym Partnerem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.

Projekt dotyczy budowy i rozwoju warstwy danych w Microsoft Fabric, integrującej dane z wielu źródeł i przygotowującej wersjonowane, audytowalne zestawy danych na potrzeby modeli ryzyka w sektorze ubezpieczeniowym.

• Opracowanie i wdrożenie pipeline'ów danych w Data Factory oraz notebooków PySpark w środowisku Microsoft Fabric, wraz z ich bieżącym rozwojem zgodnie z ustaleniami projektowymi.


• Wdrożenie mechanizmu wersjonowania zestawów danych oraz rejestracji metadanych przebiegu procesów, w tym źródeł i wersji danych.


• Opracowanie reguł transformacji oraz zapewnienie zgodności rozwiązania z wymaganiami bezpieczeństwa i prywatności danych.


• Transformacja i przygotowanie danych wsadowych wraz z implementacją reguł kontroli jakości oraz raportowania błędów.


• Integracja źródeł plikowych i bazodanowych, w tym onboarding danych, walidacja techniczna i standaryzacja formatów.


• Zarządzanie kodem w repozytorium Git, z wykorzystaniem code review oraz procesów CI/CD do wdrażania zmian.


• Optymalizacja procesów pod kątem wydajności, stabilności oraz kosztów działania środowiska Azure.


• Minimum 3 letnie doświadczenie komercyjne w roli Data Engineera przy realizacji projektów produkcyjnych.


• Doświadczenie w pracy z platformami chmurowymi do przetwarzania danych, w szczególności Microsoft Fabric, Azure Synapse lub Databricks.


• Znajomość warstwowej architektury danych (medalionowej lub podobnej), formatów Delta Lake/Parquet oraz Azure Data Lake Storage.


• Bardzo dobra znajomość Python (PySpark) oraz SQL, umożliwiająca efektywną pracę z dużymi zbiorami danych.


• Doświadczenie w integracji danych z różnych źródeł, w tym plików Excel od użytkowników biznesowych.

Mile widziane:

• Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych.


• Doświadczenie w wykorzystaniu CI/CD w projektach data engineering.


• Certyfikat DP-600 lub DP-700.


• Znajomość języka R.


• Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.


• Otwartość na okazjonalne spotkania koordynacyjne w Warszawie, ustalane w zależności od potrzeb projektu (orientacyjnie 1x w tygodniu).


• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.


• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.


• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.


• 5 000 PLN za polecenie znajomych do naszych projektów.


• Elastyczną formę współpracy B2B.


• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.