Senior Azure Data Engineer – Spark & Lakehouse

Clurgo Ltd.; Polska; Hybride; PLN 180 000 - 300 000; Plein temps

Avantages offerts par ce poste

Remote work

B2B contract

Interview feedback

Résumé du poste

Clurgo Ltd. zaprasza do dołączenia do zespołu zajmującego się skalowalnymi rozwiązaniami danych w ekosystemie Microsoft Azure. Będziesz projektować i rozwijać pipeline’y ETL/ELT, przetwarzać dane w Apache Spark i Azure Databricks oraz rozwijać architekturę Data Lakehouse.

Wymagane jest min. 5 lat doświadczenia w Data Engineering, doskonała znajomość Spark i Pythona oraz praktyczna znajomość platformy Azure (Databricks, Data Factory, Data Lake, Synapse, Data Explorer).

Qualifications

• Minimum 5 years of experience in Data Engineering.
• Very good knowledge of Apache Spark and Python.
• Hands-on experience with Microsoft Azure platform, especially Databricks, Data Factory, Data Lake, Synapse and Data Explorer.

Responsabilités

• Projektowanie, rozwój i utrzymanie rozwiązań danych w Azure Databricks i Data Lakehouse.
• Tworzenie i optymalizacja pipeline’ów ETL/ELT oraz przetwarzanie danych Python/SQL/Spark.
• Współpraca z architektami danych, zespołami platformowymi i interesariuszami biznesowymi.

Connaissances

Apache Spark

Python

SQL

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Synapse

Azure Data Explorer

CI/CD

Power BI

Databricks

ETL/ELT

Unity Catalog

Outils

Delta Live Tables (DLT)

Unity Catalog

Databricks

Description du poste

Clurgo Ltd. zaprasza do dołączenia do zespołu zajmującego się skalowalnymi rozwiązaniami danych w ekosystemie Microsoft Azure. Będziesz projektować i rozwijać pipeline’y ETL/ELT, przetwarzać dane w Apache Spark i Azure Databricks oraz rozwijać architekturę Data Lakehouse.

Wymagane jest min. 5 lat doświadczenia w Data Engineering, doskonała znajomość Spark i Pythona oraz praktyczna znajomość platformy Azure (Databricks, Data Factory, Data Lake, Synapse, Data Explorer).