Senior Data Engineer - Azure & Databricks (Remote)

GS Services; United States; Remote; USD 42,000 - 59,000; Full time

Benefits offered by this job

Remote work 100%

Job summary

GS Services szuka doświadczonego Senior Data Engineer, specjalizującego się w Azure i Databricks, do pracy zdalnej nad zaawansowaną platformą danych dla branży turystycznej. Do obowiązków należą projektowanie i utrzymanie potoków danych, migracje do Unity Catalog oraz optymalizacja kosztów infrastruktury.

Wymagana jest praktyczna znajomość Python, SQL, Spark, Azure Data Factory/Databricks, Synapse i Data Lake, a także doświadczenie z DL Tables i architekturą Lakehouse.

Qualifications

• Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
• Bardzo dobra znajomość Python, SQL i Apache Spark.
• Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
• Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
• Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
• Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
• Znajomość architektury Lakehouse.
• Doświadczenie w pracy z CI/CD i Azure DevOps.
• Znajomość zagadnień automatyzacji, monitoringu i logowania.
• Angielski na poziomie min. B2

Responsibilities

• Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
• Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
• Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
• Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
• Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
• Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
• Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
• Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
• Optymalizacja potoków danych i kosztów infrastruktury.
• Współpraca z architektami danych, analitykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
• Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.

Skills

Python

SQL

Apache Spark

Azure

Azure Databricks

Delta Live Tables

Unity Catalog

Azure Data Factory

Azure Synapse Analytics

Lakehouse

CI/CD

Azure DevOps

English B2

Tools

Azure DevOps

Job description

GS Services szuka doświadczonego Senior Data Engineer, specjalizującego się w Azure i Databricks, do pracy zdalnej nad zaawansowaną platformą danych dla branży turystycznej. Do obowiązków należą projektowanie i utrzymanie potoków danych, migracje do Unity Catalog oraz optymalizacja kosztów infrastruktury.

Wymagana jest praktyczna znajomość Python, SQL, Spark, Azure Data Factory/Databricks, Synapse i Data Lake, a także doświadczenie z DL Tables i architekturą Lakehouse.