IoT Data Platform Engineer — AWS/Spark, Data Mesh

Connectis; Poland; On-site; PLN 90,000 - 150,000; Full time

Benefits offered by this job

Sport subscription

International projects

Private healthcare

Job summary

Connectis poszukuje doświadczonej osoby na stanowisko Data Engineer. Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, przekształcającej dane z urządzeń w insighty biznesowe.

Wymagane minimum 4 lata doświadczenia w roli Data Engineer, praca w AWS z Spark, Python i SQL, a także znajomość Data Mesh i SageMaker. Oferujemy elastyczny B2B oraz współpracę w modelu projektowym.

Qualifications

• Minimum 4 lata doświadczenia w roli Data Engineer.
• Doświadczenie w AWS i technologiach Spark, Python i SQL.
• Znajomość Data Mesh i przetwarzania dużych zbiorów danych.
• Doświadczenie w środowisku cloud-native, skalowalnych rozwiązań.
• Znajomość Amazon SageMaker i przygotowywania danych pod AI/ML.
• Doświadczenie z orkiestracją i automatyzacją procesów, AWS Step Functions.
• Znajomość AWS Glue oraz Glue Catalog.
• Mile widiane Terraform, Azure, Azure DevOps.
• Znajomość IoT i integracja danych z zewnętrznych źródeł.
• Elastyczność pracy i B2B?

Responsibilities

• Projektowanie i utrzymanie pipeline’ów danych (ETL/ELT) z Spark, Python oraz usług AWS.
• Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych.
• Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions.
• Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker.
• Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich.
• Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym.
• Zapewnienie jakości danych poprzez walidację, monitoring i observability.

Skills

Spark

Python

SQL

AWS

Data Mesh

SageMaker

Step Functions

Glue Jobs

Glue Catalog

Azure DevOps

Terraform

AI/ML

IoT data

CI/CD

Tools

AWS

Spark

Python

SQL

Data Mesh

SageMaker

Terraform

Azure DevOps

Azure

Glue

Job description

Connectis poszukuje doświadczonej osoby na stanowisko Data Engineer. Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, przekształcającej dane z urządzeń w insighty biznesowe.

Wymagane minimum 4 lata doświadczenia w roli Data Engineer, praca w AWS z Spark, Python i SQL, a także znajomość Data Mesh i SageMaker. Oferujemy elastyczny B2B oraz współpracę w modelu projektowym.