Data Engineer: Databricks, GCP & PySpark ETL Expert

AgileEngine; Warszawa, Kraków, Poznań; On-site; PLN 180,000 - 260,000; Full time

Job summary

AgileEngine poszukuje inżyniera danych z silnym naciskiem na Databricks i GCP, by budować skalowalne pipeline'y ETL/ELT oraz produkcyjnie uruchamiać agentowe workflowy automatyzujące pracę z danymi. Wymaga 5+ lat doświadczenia z Databricks i PySpark, oraz solidnego SQL i GCP (BigQuery).

Znajomość Delta Lake, architektur lakehouse i angielski na poziomie upper-intermediate będą dodatkowym atutem. Dołączenie do zespołu to rozwijanie frameworków i dbałość o jakość danych w środowisku chmurowym.

Qualifications

• Minimum 5+ lat praktycznego doświadczenia z Databricks i PySpark.
• Zaawansowany SQL i umiejętność przetwarzania danych.
• Praktyczne doświadczenie z GCP, w szczególności z BigQuery.
• Doświadczenie z Delta Lake i nowoczesnymi architekturami data lake/lakehouse.
• Znajomość języka angielskiego na poziomie upper-intermediate.

Responsibilities

• Budowa skalowalnych pipeline'ów ETL/ELT w Databricks.
• Tworzenie i utrzymanie reużywalnych frameworków do pracy z danymi.
• Walidacja danych, wykrywanie problemów i troubleshooting.
• Dbałość o jakość, monitoring danych i optymalizację przepływów.
• Praca z PySpark, SQL, BigQuery i Delta Lake.

Skills

Databricks PySpark

Zaawansowany SQL

GCP BigQuery

Delta Lake

Angielski upper-intermediate

Job description

AgileEngine poszukuje inżyniera danych z silnym naciskiem na Databricks i GCP, by budować skalowalne pipeline'y ETL/ELT oraz produkcyjnie uruchamiać agentowe workflowy automatyzujące pracę z danymi. Wymaga 5+ lat doświadczenia z Databricks i PySpark, oraz solidnego SQL i GCP (BigQuery).

Znajomość Delta Lake, architektur lakehouse i angielski na poziomie upper-intermediate będą dodatkowym atutem. Dołączenie do zespołu to rozwijanie frameworków i dbałość o jakość danych w środowisku chmurowym.