Remote Data Platform Engineer (Azure & Databricks)

TQLO SP. Z O.O.; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

TQLO SP. Z O.O. zdalnie poszukuje Data Platform Engineer (Azure & Databricks) do projektowania, rozwoju i utrzymania infrastruktury chmurowej wspierającej platformę danych.

Dołączysz do zespołu zajmującego się automatyzacją konfiguracji oraz skalowalnymi rozwiązaniami dla dużych zestawów danych. Wymagane 4 lata doświadczenia w Data Platform / Cloud Engineering, biegła znajomość Azure, Databricks, Terraform, Data Lake i Data Factory, a także praktyczne umiejętności z CI/CD, bezpieczeństwem i

Qualifications

• Minimum 4 lata komercyjnego doświadczenia w Data Platform Engineering / Cloud Engineering lub pokrewnym.
• Praktyczna znajomość Microsoft Azure oraz doświadczenie w projektowaniu i utrzymywaniu infrastruktury chmurowej.
• Doświadczenie z Azure Databricks oraz konfiguracją środowisk do przetwarzania danych.
• Doświadczenie z Terraform i zarządzaniem infrastrukturą w podejściu Infrastructure as Code.
• Bardzo dobra znajomość Azure Data Lake oraz architektury przechowywania danych w chmurze.
• Praktyczne doświadczenie z Azure Data Factory i integracją usług wykorzystywanych w procesach przetwarzania danych.
• Znajomość Azure Networking, w tym konfiguracji sieci, komunikacji pomiędzy usługami oraz zasad bezpiecznej łączności.
• Doświadczenie w obszarze Azure Identity, zarządzania tożsamością, uprawnieniami i dostępem do zasobów.
• Znajomość mechanizmów Azure Security oraz dobrych praktyk zabezpieczania infrastruktury i danych.
• Doświadczenie z Azure Monitoring, w tym monitorowaniem zasobów, analizą logów i konfiguracją alertów.
• Umiejętność automatyzacji konfiguracji oraz wdrażania zmian w środowiskach chmurowych.
• Dobre rozumienie architektury platform danych oraz zależności pomiędzy jej komponentami.
• Umiejętność diagnozowania problemów związanych z wydajnością, dostępnością i bezpieczeństwem infrastruktury.
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym.

Responsibilities

• Projektowaniem, rozwojem i utrzymywaniem infrastruktury chmurowej wspierającej platformę danych.
• Tworzeniem i automatyzacją konfiguracji środowisk wykorzystywanych do przechowywania oraz przetwarzania danych.
• Rozwijaniem architektury umożliwiającej efektywne zarządzanie dużymi zbiorami danych.
• Konfigurowaniem i optymalizowaniem usług odpowiedzialnych za integrację, przetwarzanie oraz udostępnianie danych.
• Projektowaniem mechanizmów zapewniających bezpieczną komunikację pomiędzy komponentami platformy.
• Zarządzaniem dostępem do zasobów oraz wdrażaniem zasad bezpieczeństwa infrastruktury chmurowej.
• Rozwijaniem mechanizmów monitorowania dostępności, wydajności i stabilności środowiska.
• Automatyzacją procesów wdrażania zmian infrastrukturalnych oraz utrzymywaniem spójności konfiguracji.
• Identyfikowaniem problemów technicznych i optymalizowaniem wykorzystania zasobów chmurowych.
• Współpracą z zespołami Data Engineering i Cloud Engineering przy rozwoju platformy danych.
• Przygotowywaniem dokumentacji technicznej oraz współtworzeniem standardów zarządzania infrastrukturą

Skills

Cloud engineering

Terraform

CI/CD

Python

SQL

Security best practices

Monitoring

Networking

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Networking

Azure Identity

Azure Key Vault

Private Endpoints

Job description

TQLO SP. Z O.O. zdalnie poszukuje Data Platform Engineer (Azure & Databricks) do projektowania, rozwoju i utrzymania infrastruktury chmurowej wspierającej platformę danych.

Dołączysz do zespołu zajmującego się automatyzacją konfiguracji oraz skalowalnymi rozwiązaniami dla dużych zestawów danych. Wymagane 4 lata doświadczenia w Data Platform / Cloud Engineering, biegła znajomość Azure, Databricks, Terraform, Data Lake i Data Factory, a także praktyczne umiejętności z CI/CD, bezpieczeństwem i