Azure Data Platform Engineer – Databricks | Remote

Future Processing; Polska; Remote; PLN 183,000 - 270,000; Full time

Benefits offered by this job

100% remote

Szkolenia chmurowe

Narzędzia AI od dnia pierwszego

Społeczność ekspertów

Job summary

Future Processing poszukuje specjalisty ds. przetwarzania danych do projektów dla klienta z rynku DACH, koncentrując się na Azure Data Platform (Synapse, Databricks, Data Lakehouse).

Doświadczenie z Python, PySpark i SQL jest kluczowe, podobnie jak umiejętności CI/CD i praktyczne podejście do ETL/ELT. Oczekujemy minimum 5 lat w IT, w tym 3,5 lata w chmurze danych, z komercyjnym doświadczeniem w JSON oraz pracą z Databricks i Terraform.

Qualifications

• Minimum 5 lat pracy w IT, w tym 3,5 lata z danymi w chmurze Azure.
• Doświadczenie w Terraform i Databricks w środowiskach produkcyjnych.
• Komercyjne przetwarzanie dużych danych z JSON i PySpark.
• Zaawansowany SQL oraz wykorzystanie go w MS i innych technologiach.
• Znajomość Git oraz praktyk CI/CD w procesie wytwarzania oprogramowania.
• Projektowanie i optymalizacja ETL/ELT z uwzględnieniem alternatyw (Airflow).
• Python z bibliotekami Pandas i NumPy; praktyczne użycie w projektach.

Responsibilities

• Implementowanie i optymalizacja procesów ETL/ELT pozyskujących dane z wielu obszarów biznesowych.
• Tworzenie i utrzymywanie rozwiązań do przetwarzania danych w Pythonie, SQL i Spark.
• Wsparcie migracji i modernizacji środowisk danych (Unity Catalog, aktualizacje platform).
• Budowa i utrzymywanie workflowów w Databricks, Delta Live Tables i orkiestracji.
• Współpraca z architektami, analitykami i interesariuszami biznesowymi.
• Rozwój CI/CD, automatyzacji, monitoringu i logowania oraz dobre praktyki operacyjne.

Skills

Data processing

Python programming

SQL proficiency

Azure knowledge

CI/CD workflows

Team collaboration

Cloud computing

AI in software

Tools

Terraform

Databricks

Azure Synapse

Azure Data Lake

Azure DevOps

Delta Live Tables

Unity Catalog

Job description

Future Processing poszukuje specjalisty ds. przetwarzania danych do projektów dla klienta z rynku DACH, koncentrując się na Azure Data Platform (Synapse, Databricks, Data Lakehouse).

Doświadczenie z Python, PySpark i SQL jest kluczowe, podobnie jak umiejętności CI/CD i praktyczne podejście do ETL/ELT. Oczekujemy minimum 5 lat w IT, w tym 3,5 lata w chmurze danych, z komercyjnym doświadczeniem w JSON oraz pracą z Databricks i Terraform.