Lead Data Engineer - Databricks & AI Pipelines

Acaisoft; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

Acaisoft poszukuje Lead Data Engineera do pracy nad potężnymi pipeline'ami danych i zastosowaniami AI/ML w projekcie dla amerykańskiego klienta BioPharma. Rola obejmuje projektowanie i utrzymanie skalowalnych rozwiązań data platform, od gromadzenia danych po udostępnianie wyników analitycznych, z naciskiem na jakość i zaufanie danych.

Wymagane umiejętności to Python, SQL, Spark na Databricks, modelowanie danych oraz integracja źródeł relacyjnych i dokumentów; praca w międzynarodowym środowisku,

Qualifications

• Minimum seniority as Lead/Principal Data Architect in multinational environments.
• Deep knowledge of data modelling, integration, warehousing and modern data platforms.
• Strong Python and SQL with production Spark on Databricks for analytics/AI use cases.
• Experience with structured and unstructured data across ingestion, transformation and storage.

Responsibilities

• Build and operate data ingestion/processing for structured, semi-structured, and unstructured data; support prototyping to production.
• Implement metadata and data quality practices enabling cross-record querying and AI-ready data access.
• Collaborate with architects, AI/engineering teams and domain experts to ensure usable, performant data for GenAI and analytics.
• Mentor junior/mid-level engineers and support code reviews.
• Lead architectural decisions and engage with key stakeholders.

Skills

Lead Data Architect

Data modelling

Data integration

Data warehousing

Databricks / Spark

Python

SQL

CI/CD

Metadata & data quality

Azure / cloud data platforms

Tools

Databricks

Unity Catalog

Delta Lake

Oracle

PostgreSQL

MongoDB

Job description

Acaisoft poszukuje Lead Data Engineera do pracy nad potężnymi pipeline'ami danych i zastosowaniami AI/ML w projekcie dla amerykańskiego klienta BioPharma. Rola obejmuje projektowanie i utrzymanie skalowalnych rozwiązań data platform, od gromadzenia danych po udostępnianie wyników analitycznych, z naciskiem na jakość i zaufanie danych.

Wymagane umiejętności to Python, SQL, Spark na Databricks, modelowanie danych oraz integracja źródeł relacyjnych i dokumentów; praca w międzynarodowym środowisku,