Senior Data Engineer: AI-Driven Data Platform on Fabric

Develocraft sp. z o.o.; Województwo pomorskie; On-site; PLN 180,000 - 240,000; Full time

Job summary

Develocraft sp. z o.o. poszukuje inżyniera danych do projektowania, wdrażania i utrzymania platform danych i AI w środowisku Microsoft Fabric. Będziesz pracować nad architekturą lakehouse, pipeline'ami danych i modelowaniem danych.

Rola obejmuje integrację systemów, projektowanie API, utrzymanie CI/CD i praktyk MLOps, a także zapewnienie bezpieczeństwa i zgodności z regulacjami. Wymagana jest silna komunikacja z zespołami biznesowymi i technicznymi oraz samodzielność w realizacji zadań.

Qualifications

• Wymagane doświadczenie w projektowaniu i utrzymaniu platform danych i AI.
• Silne zrozumienie architektury Lakehouse i hurtowni danych.
• Znajomość Pythona, Spark, SQL i analityki danych.
• Doświadczenie w integracji systemów przez API i architektury zdarzeniowe.
• Praktyczna znajomość Azure DevOps, repozytoriów i CI/CD.
• Umiejętność dokumentowania technicznego i zapewnienia bezpieczeństwa.

Responsibilities

• Projektowanie, budowa i utrzymanie platformy danych Microsoft Fabric.
• Tworzenie i utrzymanie potoków danych, transformacji i dostaw.
• Projektowanie rozwiązań Lakehouse i Data Warehouse.
• Monitorowanie zdrowia platformy, rozwiązywanie incydentów.
• Modelowanie danych dla raportowania i AI obciążeń.
• Wdrażanie AI generatywnych i RAG, oraz integracja usług AI.
• Przygotowanie danych dla modeli AI i przebieg ich cyklu.
• Współpraca z interesariuszami w zakresie przypadków AI.
• Projektowanie API i usług dostępu do danych.
• Zapewnienie zgodności z zasadami bezpieczeństwa i regułami.

Skills

Data platform design

Data engineering

Lakehouse architecture

Python

Spark

SQL

APIs integration

Event-driven architecture

Data governance

Documentation

Stakeholder communication

Security best practices

Collaboration with teams

Regulatory awareness

Tools

Microsoft Fabric

Azure DevOps

CI/CD pipelines

MLOps

Azure AI

Job description

Develocraft sp. z o.o. poszukuje inżyniera danych do projektowania, wdrażania i utrzymania platform danych i AI w środowisku Microsoft Fabric. Będziesz pracować nad architekturą lakehouse, pipeline'ami danych i modelowaniem danych.

Rola obejmuje integrację systemów, projektowanie API, utrzymanie CI/CD i praktyk MLOps, a także zapewnienie bezpieczeństwa i zgodności z regulacjami. Wymagana jest silna komunikacja z zespołami biznesowymi i technicznymi oraz samodzielność w realizacji zadań.