Lead Data Engineer for Databricks & AI Pipelines

ACAISOFT POLAND Sp. z o.o.; Warszawa; On-site; PLN 180,000 - 280,000; Full time

Benefits offered by this job

Private medical care

Multisport card

Friendly, informal atmosphere, and in‑

Job summary

ACAISOFT POLAND Sp. z o.o. poszukuje Lead Data Architect do pracy w międzynarodowym środowisku, aby prowadzić architekturę danych i wspierać projekty BioPharma dla klientów z całego świata.

Rola obejmuje projektowanie modeli danych, budowę potoków oraz zapewnienie jakości i zaufania danych na skalę enterprise. Wymagane jest zaawansowane doświadczenie z Pythonem, SQL, Spark na Databricks, Delta Lake i Unity Catalog, a także praktyki IaC i CI/CD.

Qualifications

• Wymagane doświadczenie na stanowisku Lead/Principal Data Architect w środowiskach międzynarodowych.
• Głęboka znajomość modelowania danych, integracji, hurtowni danych i nowoczesnych platform danych.
• Języki Python i SQL oraz praktyczne doświadczenie z Spark na Databricks (Structured Streaming, Auto Loader, Delta Lake, Unity Catalog).
• Doświadczenie z danymi ustrukturyzowanymi i nieustrukturyzowanymi na pełnym cyklu: ingestion, transformacja, wzbogacanie, indeksowanie, retention, z praktykami IaC, CI/CD, testowanie potoków.
• Doświadczenie z integracją źródeł operacyjnych: Oracle, PostgreSQL, MongoDB; pattern CDC, schema drift, late data.

Responsibilities

• Budowanie, rozwijanie i utrzymanie możliwości wgrywania i przetwarzania danych strukturalnych, półstrukturalnych i nieustrukturalnych.
• Utrzymywanie metadata i praktyk jakości danych zapewniających cross-record querying i AI-ready access.
• Współpraca z architektami, inżynierami AI i ekspertami domenowymi celem używalności, wydajności i zaufania danych.
• Wsparcie jakości inżynierii poprzez przeglądy kodu i mentoring młodszych inżynierów.
• Prowadzenie decyzji architektonicznych i współpraca z interesariuszami biznesowymi i technologicznymi; kierowanie zespołami danych.

Skills

Python

SQL

Databricks

Spark

Data modelling

CI/CD

Infrastructure as code

Data integration

Tools

Delta Lake

Unity Catalog

Oracle

PostgreSQL

MongoDB

Job description

ACAISOFT POLAND Sp. z o.o. poszukuje Lead Data Architect do pracy w międzynarodowym środowisku, aby prowadzić architekturę danych i wspierać projekty BioPharma dla klientów z całego świata.

Rola obejmuje projektowanie modeli danych, budowę potoków oraz zapewnienie jakości i zaufania danych na skalę enterprise. Wymagane jest zaawansowane doświadczenie z Pythonem, SQL, Spark na Databricks, Delta Lake i Unity Catalog, a także praktyki IaC i CI/CD.