Senior Data Engineer: Clinical Data Lakehouse & AI

Bayer; Województwo mazowieckie; On-site; PLN 180,000 - 320,000; Full time

Job summary

Bayer poszukuje Senior Data Engineer w zespole Data & AI, koncentrującego się na tworzeniu i eksploatacji potoków danych GxP-validated dla badań klinicznych w data lakehouse. Wymaga to silnych umiejętności programistycznych w Pythonie i PySpark, znajomości narzędzi Databricks oraz zakresu bezpieczeństwa danych.

Do kluczowych zadań należy projektowanie, implementacja i operowanie niezawodnych potoków danych, współpraca z interesariuszami w metodyce Agile oraz promowanie dobrych praktyk inżynierii

Qualifications

• Wymagane tytuł licencjata z kierunków IT/np. informatyka lub zbliżony.
• Minimum 5 lat doświadczenia w data engineering i operacjach danych.
• Wysoki standard kodu, dokumentacja i metadane.
• Doświadczenie z Databricks i zarządzaniem dostępem.

Responsibilities

• Prowadzenie budowy i utrzymania potoków danych w Clinical Data Lakehouse.
• Współpraca z biznesem i IT w zwinnej organizacji.
• Projektowanie i implementacja wzorców integracyjnych i semantyki danych.
• Wdrażanie IaC i współpraca z zespołem infra.

Skills

Databricks

DBX Asset Bundles

Lakeflow

Unity Catalog

Governance model

Databricks CLI

API design

OpenSharing/Delta Sharing

Iceberg-Sharing

ODBC/GraphQL/OData/REST

Event streaming

Python / PySpark

Kapitan

Git / GitHub Actions / CI/CD

Data security practices

Analytical & communication skills

Education

Bachelor’s degree in computer science, data science, information technology, or related field

Tools

Databricks

Terraform

AWS

Job description

Bayer poszukuje Senior Data Engineer w zespole Data & AI, koncentrującego się na tworzeniu i eksploatacji potoków danych GxP-validated dla badań klinicznych w data lakehouse. Wymaga to silnych umiejętności programistycznych w Pythonie i PySpark, znajomości narzędzi Databricks oraz zakresu bezpieczeństwa danych.

Do kluczowych zadań należy projektowanie, implementacja i operowanie niezawodnych potoków danych, współpraca z interesariuszami w metodyce Agile oraz promowanie dobrych praktyk inżynierii