Data Platform Engineer (Azure & Databricks)

TQLO SP. Z O.O.; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

TQLO SP. Z O.O. zdalnie poszukuje Data Platform Engineer (Azure & Databricks) do projektowania, rozwoju i utrzymania infrastruktury chmurowej wspierającej platformę danych.

Dołączysz do zespołu zajmującego się automatyzacją konfiguracji oraz skalowalnymi rozwiązaniami dla dużych zestawów danych. Wymagane 4 lata doświadczenia w Data Platform / Cloud Engineering, biegła znajomość Azure, Databricks, Terraform, Data Lake i Data Factory, a także praktyczne umiejętności z CI/CD, bezpieczeństwem i

Qualifications

• Minimum 4 lata komercyjnego doświadczenia w Data Platform Engineering / Cloud Engineering lub pokrewnym.
• Praktyczna znajomość Microsoft Azure oraz doświadczenie w projektowaniu i utrzymywaniu infrastruktury chmurowej.
• Doświadczenie z Azure Databricks oraz konfiguracją środowisk do przetwarzania danych.
• Doświadczenie z Terraform i zarządzaniem infrastrukturą w podejściu Infrastructure as Code.
• Bardzo dobra znajomość Azure Data Lake oraz architektury przechowywania danych w chmurze.
• Praktyczne doświadczenie z Azure Data Factory i integracją usług wykorzystywanych w procesach przetwarzania danych.
• Znajomość Azure Networking, w tym konfiguracji sieci, komunikacji pomiędzy usługami oraz zasad bezpiecznej łączności.
• Doświadczenie w obszarze Azure Identity, zarządzania tożsamością, uprawnieniami i dostępem do zasobów.
• Znajomość mechanizmów Azure Security oraz dobrych praktyk zabezpieczania infrastruktury i danych.
• Doświadczenie z Azure Monitoring, w tym monitorowaniem zasobów, analizą logów i konfiguracją alertów.
• Umiejętność automatyzacji konfiguracji oraz wdrażania zmian w środowiskach chmurowych.
• Dobre rozumienie architektury platform danych oraz zależności pomiędzy jej komponentami.
• Umiejętność diagnozowania problemów związanych z wydajnością, dostępnością i bezpieczeństwem infrastruktury.
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym.

Responsibilities

• Projektowaniem, rozwojem i utrzymywaniem infrastruktury chmurowej wspierającej platformę danych.
• Tworzeniem i automatyzacją konfiguracji środowisk wykorzystywanych do przechowywania oraz przetwarzania danych.
• Rozwijaniem architektury umożliwiającej efektywne zarządzanie dużymi zbiorami danych.
• Konfigurowaniem i optymalizowaniem usług odpowiedzialnych za integrację, przetwarzanie oraz udostępnianie danych.
• Projektowaniem mechanizmów zapewniających bezpieczną komunikację pomiędzy komponentami platformy.
• Zarządzaniem dostępem do zasobów oraz wdrażaniem zasad bezpieczeństwa infrastruktury chmurowej.
• Rozwijaniem mechanizmów monitorowania dostępności, wydajności i stabilności środowiska.
• Automatyzacją procesów wdrażania zmian infrastrukturalnych oraz utrzymywaniem spójności konfiguracji.
• Identyfikowaniem problemów technicznych i optymalizowaniem wykorzystania zasobów chmurowych.
• Współpracą z zespołami Data Engineering i Cloud Engineering przy rozwoju platformy danych.
• Przygotowywaniem dokumentacji technicznej oraz współtworzeniem standardów zarządzania infrastrukturą

Skills

Cloud engineering

Terraform

CI/CD

Python

SQL

Security best practices

Monitoring

Networking

Tools

Azure Databricks

Azure Data Factory

Azure Data Lake

Azure Networking

Azure Identity

Azure Key Vault

Private Endpoints

Job description

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne rozwiązania technologiczne wspierające zarządzanie, przetwarzanie i wykorzystanie danych.Projekt koncentruje się na rozwoju oraz utrzymaniu platformy danych opartej na usługach Microsoft Azure. Zakres współpracy obejmuje projektowanie infrastruktury chmurowej, automatyzację jej konfiguracji oraz zapewnienie bezpieczeństwa, stabilności i skalowalności środowiska danych.Do realizacji projektu poszukujemy osoby do współpracy w roli Data Platform Engineer (Azure & Databricks), która posiada doświadczenie w budowaniu platform danych oraz automatyzacji infrastruktury w środowisku Azure.

Tryb Współpracy: 100% zdalnie

Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością

CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?

• Projektowaniem, rozwojem i utrzymywaniem infrastruktury chmurowej wspierającej platformę danych
• Tworzeniem i automatyzacją konfiguracji środowisk wykorzystywanych do przechowywania oraz przetwarzania danych
• Rozwijaniem architektury umożliwiającej efektywne zarządzanie dużymi zbiorami danych
• Konfigurowaniem i optymalizowaniem usług odpowiedzialnych za integrację, przetwarzanie oraz udostępnianie danych
• Projektowaniem mechanizmów zapewniających bezpieczną komunikację pomiędzy komponentami platformy
• Zarządzaniem dostępem do zasobów oraz wdrażaniem zasad bezpieczeństwa infrastruktury chmurowej
• Rozwijaniem mechanizmów monitorowania dostępności, wydajności i stabilności środowiska
• Automatyzacją procesów wdrażania zmian infrastrukturalnych oraz utrzymywaniem spójności konfiguracji
• Identyfikowaniem problemów technicznych i optymalizowaniem wykorzystania zasobów chmurowych
• Współpracą z zespołami Data Engineering i Cloud Engineering przy rozwoju platformy danych
• Przygotowywaniem dokumentacji technicznej oraz współtworzeniem standardów zarządzania infrastrukturą

CZEGO OD CIEBIE OCZEKUJEMY?

• Must have:
• Minimum 4 lata komercyjnego doświadczenia w obszarze Data Platform Engineering, Cloud Engineering lub pokrewnym
• Bardzo dobra znajomość Microsoft Azure oraz doświadczenie w projektowaniu i utrzymywaniu infrastruktury chmurowej
• Praktyczne doświadczenie z Azure Databricks oraz konfiguracją środowisk do przetwarzania danych
• Doświadczenie z Terraform i zarządzaniem infrastrukturą w podejściu Infrastructure as Code
• Bardzo dobra znajomość Azure Data Lake oraz architektury przechowywania danych w chmurze
• Praktyczne doświadczenie z Azure Data Factory i integracją usług wykorzystywanych w procesach przetwarzania danych
• Znajomość Azure Networking, w tym konfiguracji sieci, komunikacji pomiędzy usługami oraz zasad bezpiecznej łączności
• Doświadczenie w obszarze Azure Identity, zarządzania tożsamością, uprawnieniami i dostępem do zasobów
• Znajomość mechanizmów Azure Security oraz dobrych praktyk zabezpieczania infrastruktury i danych
• Doświadczenie z Azure Monitoring, w tym monitorowaniem zasobów, analizą logów i konfiguracją alertów
• Umiejętność automatyzacji konfiguracji oraz wdrażania zmian w środowiskach chmurowych
• Dobre rozumienie architektury platform danych oraz zależności pomiędzy jej komponentami
• Umiejętność diagnozowania problemów związanych z wydajnością, dostępnością i bezpieczeństwem infrastruktury
• Bardzo dobra znajomość języka angielskiego, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym
• Nice to have:
• Doświadczenie z Azure DevOps lub GitHub Actions
• Znajomość procesów CI/CD dla infrastruktury i platform danych
• Doświadczenie z Azure Key Vault oraz Private Endpoints
• Znajomość Microsoft Entra ID i zarządzania dostępem w rozbudowanych środowiskach chmurowych
• Doświadczenie w optymalizacji kosztów infrastruktury Azure
• Znajomość Python lub SQL
• Doświadczenie w projektowaniu architektury Lakehouse

DLACZEGO WARTO?

• Udział w projekcie obejmującym rozwój nowoczesnej platformy danych opartej na Azure i Databricks
• Projektowanie oraz automatyzacja infrastruktury wspierającej procesy przetwarzania danych
• Złożone zagadnienia związane z bezpieczeństwem, komunikacją sieciową i zarządzaniem dostępem do zasobów
• Udział w kształtowaniu standardów infrastrukturalnych oraz sposobu zarządzania środowiskami chmurowymi
• Projekt łączący kompetencje z obszaru Data Platform Engineering, Cloud Infrastructure i Infrastructure as Code