Data Engineer

Connectis_; Polska; On-site; PLN 220,000 - 270,000; Full time

Benefits offered by this job

Polecenie znajomych 5 000 PLN

Elastyczna forma współpracy B2B

Job summary

Connectis poszukuje doświadczonego Data Engineer do realizacji projektu w sektorze ubezpieczeniowym. Głównym celem jest budowa i skalowanie platformy danych IoT, transformującej dane z urządzeń w insighty biznesowe.

Praca obejmuje projektowanie i utrzymanie wydajnych pipeline’ów danych, implementację orkiestracji CI/CD w AWS, integrację źródeł zewnętrznych oraz wsparcie zespołów ML przygotowujących dane pod SageMaker.

Qualifications

• Minimum 4 lata doświadczenia komercyjnego na stanowisku Data Engineer lub podobnym.
• Doświadczenie w AWS i technologiach Spark, Python i SQL.
• Praktyczna znajomość architektury Data Mesh oraz przetwarzania dużych zbiorów danych.
• Znajomość budowy skalowalnych rozwiązań data engineeringowych w środowisku cloud-native.
• Doświadczenie z Amazon SageMaker i przygotowywaniem środowisk dla rozwiązań AI/ML.

Responsibilities

• Projektowanie i utrzymanie pipeline’ów danych (ETL/ELT) z użyciem Spark, Pythona i AWS.
• Budowa i rozwój platformy danych wspierającej wiele produktów i obszarów biznesowych.
• Implementacja orkiestracji workflow i automatyzacji procesów CI/CD z AWS Step Functions.
• Integracja danych z IoT, OEM i systemów partnerskich oraz zapewnienie jakości i observability.
• Współpraca z zespołami ML w zakresie przygotowania danych pod SageMaker.

Skills

Spark

Python

SQL

AWS

Data Mesh

AWS Step Functions

CI/CD

Tools

AWS Glue

AWS SageMaker

Terraform

Azure DevOps

Job description

Lokalizacja: Otwartość na okazjonalne spotkania koordynacyjne w Warszawie (orientacyjnie raz na kwartał)

Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.

Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.

• Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS.
• Budowa i rozwój nowoczesnej platformy danych wspierającej wiele różnorodnych produktów klienta i obszarów biznesowych.
• Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions.
• Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich.
• Wsparcie zespołów ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker.
• Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym.
• Zapewnienie jakości danych poprzez walidację, monitoring i observability.
• Minimum 4 letnie doświadczenie komercyjne w roli Data Engineer lub podobnej.
• Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL.
• Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych.
• Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.
• Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.
• Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.
• Znajomość AWS Glue, w tym tworzenia i utrzymania Glue Jobs oraz zarządzania danymi w Glue Catalog.

Mile widziane:

• Doświadczenie z Terraform w zakresie automatyzacji i zarządzania infrastrukturą jako kodem (IaC).
• Doświadczenie w pracy z chmurą Azure oraz narzędziem Azure DevOps.
• znajomość narzędzi oraz rozwiązań AI/ML.
• Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• Otwartość na okazjonalne spotkania koordynacyjne w Warszawie (orientacyjnie raz na kwartał).
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczną formę współpracy B2B.
• Szybki i zdalny proces.

Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.