Mid Data Engineer

RemoDevs; Kraków, Szczecin, Gdynia, Wrocław; Sur place; PLN 167 000 - 234 000; Plein temps

Résumé du poste

RemoDevs poszukuje samodzielnego inżyniera danych do projektu trzymiesięcznego–sześcio miesięcznego w Krakowie. Zadania obejmują rozwijanie, utrzymywanie i optymalizację pipeline'ów danych w PySpark oraz pracę z Databricks przy przetwarzaniu dużych zbiorów.

Wymagania obejmują zaawansowane PySpark i SQL, doświadczenie w Data Engineering na poziomie mid, a także znajomość chmury (Azure, AWS lub GCP).

Qualifications

• Mocne, praktyczne doświadczenie z PySpark.
• Komercyjne doświadczenie w Data Engineering na poziomie mid.
• Bardzo dobra znajomość SQL i technik transformacji danych.
• Praktyczne rozumienie Apache Spark i przetwarzania rozproszonego.
• Podstawowe doświadczenie z Databricks.
• Doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT.
• Znajomość środowisk chmurowych (Azure, AWS lub GCP).

Responsabilités

• Rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks.
• Integracja danych z różnych źródeł.
• Optymalizacja zapytań SQL i wydajności przetwarzania danych.
• Wdrażanie kontroli jakości danych oraz rozwiązywanie problemów wydajnościowych.

Connaissances

PySpark

Data engineering

SQL

Distributed processing

Databricks

ETL/ELT pipelines

Cloud platforms

Outils

Apache Spark

Databricks

Description du poste

Projekt data engineeringowy na 3–6 miesięcy, w którym głównym zadaniem będzie rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks przy przetwarzaniu dużych zbiorów. Będziesz integrować dane z różnych źródeł, optymalizować zapytania SQL, wdrażać kontrole jakości danych i rozwiązywać problemy wydajnościowe. To oferta dla samodzielnego inżyniera danych na poziomie mid, dla którego PySpark jest kluczową kompetencją, a Databricks to obszar do dalszego rozwoju.

Wymagania

• mocne, praktyczne doświadczenie z PySpark (kluczowe wymaganie)
• komercyjne doświadczenie w Data Engineering na poziomie mid
• bardzo dobra znajomość SQL i technik transformacji danych
• praktyczne rozumienie Apache Spark i przetwarzania rozproszonego
• podstawowe praktyczne doświadczenie z Databricks
• doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT
• znajomość środowisk chmurowych (Azure, AWS lub GCP)