Senior Big Data Engineer: Azure ETL/ELT & ML (Remote)

TQLO SP. Z O.O.; United States; Remote; USD 150,000 - 190,000; Full time

Job summary

TQLO SP. Z O.O. poszukuje doświadczonego Senior Big Data Engineera do projektowania, rozwoju i optymalizacji skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Projekt obejmuje budowę i optymalizację pipeline’ów danych, pracę z dużymi zbiorami danych oraz rozwój rozwiązań wspierających zaawansowaną analitykę i Machine Learning.

Tryb współpracy: 100% zdalnie. Dostępność: osoby dostępne od zaraz lub z maksymalnie 14-dniową dostępnością.

Qualifications

• Doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior.
• Bardzo dobra znajomość SQL oraz modelowania danych.
• Zaawansowana znajomość Apache Spark, w szczególności DataFrame API, Spark SQL oraz optymalizacji wydajności.
• Praktyczne doświadczenie w wykorzystaniu Pythona w obszarze Data Engineering.
• Doświadczenie w projektowaniu, budowie i optymalizacji pipeline’ów ETL/ELT.
• Znajomość przetwarzania dużych zbiorów danych ustrukturyzowanych i częściowo ustrukturyzowanych.
• Praktyczna znajomość architektury Data Lake, w tym Parquet, Delta Lake i partycjonowania danych.
• Doświadczenie z platformami chmurowymi, w szczególności Microsoft Azure.
• Znajomość Git oraz procesów CI/CD.
• Podstawowa znajomość statystyki, analizy danych i mechanizmów kontroli jakości danych.
• Umiejętność diagnozowania problemów technicznych oraz optymalizacji wydajności rozwiązań.
• Umiejętność współpracy z interesariuszami technicznymi i biznesowymi.

Responsibilities

• Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure.
• Optymalizacja procesów przetwarzania danych w Apache Spark pod kątem wydajności, stabilności i niezawodności.
• Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych.
• Implementacja mechanizmów kontroli jakości danych oraz optymalizacja procesów ich przetwarzania.
• Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD.
• Przygotowywanie i przetwarzanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning.
• Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem danych.
• Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu.

Skills

SQL

Data modeling

Apache Spark

Python

ETL/ELT

Data Lake

Git

CI/CD

Azure

Azure Databricks

Wydajność optymalizacja

Współpraca z interesariuszami

Tools

Apache Spark

Parquet

Delta Lake

Git

CI/CD

Azure

Azure Databricks

Job description

TQLO SP. Z O.O. poszukuje doświadczonego Senior Big Data Engineera do projektowania, rozwoju i optymalizacji skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Projekt obejmuje budowę i optymalizację pipeline’ów danych, pracę z dużymi zbiorami danych oraz rozwój rozwiązań wspierających zaawansowaną analitykę i Machine Learning.

Tryb współpracy: 100% zdalnie. Dostępność: osoby dostępne od zaraz lub z maksymalnie 14-dniową dostępnością.