Senior Azure Data Engineer - Remote & Scalable Pipelines

Justjoin; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Justjoin poszukuje Senior Data Engineer do międzynarodowego zespołu pracującego nad skalowalną platformą danych w Azure. Praca 100% zdalna, dostępność od zaraz lub w ciągu miesiąca.

Twoje zadania to projektowanie i rozwijanie pipeline’ów, transformacja danych w Azure Databricks, budowa hurtowni w Azure Data Lake oraz integracja danych przez Azure Data Factory. Wymagane: Python, SQL, angielski na poziomie C1 i co najmniej 6 lat doświadczenia.

Qualifications

• Minimum 6 lat komercyjnego doświadczenia w Data Engineering.
• Bardzo dobra, praktyczna znajomość Azure Databricks w rozwiązaniach produkcyjnych.
• Doświadczenie w projektowaniu i rozwijaniu rozwiązań wykorzystujących Azure Data Lake.
• Bardzo dobra znajomość Azure Data Factory oraz doświadczenie w tworzeniu i orkiestracji pipeline’ów danych.
• Bardzo dobra znajomość SQL, w tym tworzenie złożonych zapytań i optymalizacja operacji na danych.
• Bardzo dobra znajomość Pythona w kontekście przetwarzania i transformacji danych.
• Doświadczenie w projektowaniu procesów ETL/ELT oraz integracji danych z wielu źródeł.
• Umiejętność optymalizacji wydajności procesów przetwarzania dużych wolumenów danych.
• Doświadczenie w analizowaniu problemów związanych z jakością, spójnością i przepływem danych.
• Umiejętność samodzielnego projektowania rozwiązań oraz podejmowania decyzji technicznych w obszarze Data Engineering.
• Znajomość języka angielskiego na poziomie minimum C1, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym.

Responsibilities

• Projektowanie i rozwijanie pipeline’ów oraz procesów przetwarzania danych w środowisku Azure.
• Rozwój rozwiązań wykorzystujących Azure Databricks do transformacji i przetwarzania dużych zbiorów danych.
• Budowa oraz rozwój warstwy przechowywania danych opartej na Azure Data Lake.
• Tworzenie i utrzymywanie procesów integracji oraz orkiestracji danych z wykorzystaniem Azure Data Factory.
• Implementacją procesów transformacji danych w Pythonie i SQL.
• Integracją danych pochodzących z różnych systemów i źródeł.
• Optymalizacją pipeline’ów, zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalności.
• Monitorowaniem jakości i poprawności przetwarzanych danych oraz diagnozowaniem problemów w przepływach danych.
• Rozwijaniem mechanizmów wspierających niezawodność i utrzymywalność platformy danych.
• Udziałem w podejmowaniu decyzji technicznych dotyczących architektury i dalszego rozwoju środowiska Data

Skills

Azure Databricks

Azure Data Factory

Azure Data Lake

SQL

Python

ETL/ELT

Data integration

Big data

Azure

Data quality

Tools

Delta Lake

Job description

Justjoin poszukuje Senior Data Engineer do międzynarodowego zespołu pracującego nad skalowalną platformą danych w Azure. Praca 100% zdalna, dostępność od zaraz lub w ciągu miesiąca.

Twoje zadania to projektowanie i rozwijanie pipeline’ów, transformacja danych w Azure Databricks, budowa hurtowni w Azure Data Lake oraz integracja danych przez Azure Data Factory. Wymagane: Python, SQL, angielski na poziomie C1 i co najmniej 6 lat doświadczenia.