Senior Data Platform Engineer: Azure Databricks & Pipelines

HeadHR; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

HeadHR poszukuje specjalisty ds. danych, który będzie projektował i rozwijał rozwiązania na platformie danych opartej na Azure Databricks.

Osoba ta będzie pisać i optymalizować kod Python i SQL, budować oraz optymalizować pipeline'y danych zgodnie z wymaganiami biznesowymi i technicznymi. Wymagana jest praktyczna znajomość Azure Databricks Lakehouse, Databricks connectors i standardów zarządzania danymi (Data Governance, Unity Catalog).

Qualifications

• Minimum 5 lat doświadczenia w środowisku chmurowym na stanowiskach inżyniera danych lub pokrewnych.
• Biegła znajomość Pythona oraz ANSI SQL.
• Doświadczenie z Azure Databricks Lakehouse i Databricks connectors.

Responsibilities

• Projektowanie i wdrażanie nowych rozwiązań na platformie danych opartej na Azure Databricks.
• Tworzenie i optymalizacja kodu Python i SQL w środowisku chmurowym.
• Projektowanie i orkiestracja pipeline'ów danych oraz ETL/ELT.
• Zarządzanie danymi: governance, RBAC, Unity Catalog, bezpieczeństwo dostępu.
• Współpraca z zespołami inżynierii danych, analitykami i architektem platformy.

Skills

Python

ANSI SQL

Data pipelines

Spark tuning

Structured Streaming

RBAC

Unity Catalog

AI/LLM code generation

Team collaboration

English B2

Tools

Azure Databricks Lakehouse

Databricks connectors

Auto Loader

REST API

JDBC

Job description

HeadHR poszukuje specjalisty ds. danych, który będzie projektował i rozwijał rozwiązania na platformie danych opartej na Azure Databricks.

Osoba ta będzie pisać i optymalizować kod Python i SQL, budować oraz optymalizować pipeline'y danych zgodnie z wymaganiami biznesowymi i technicznymi. Wymagana jest praktyczna znajomość Azure Databricks Lakehouse, Databricks connectors i standardów zarządzania danymi (Data Governance, Unity Catalog).