Data Engineer

AgileEngine; Warszawa, Kraków, Poznań; On-site; PLN 180,000 - 260,000; Full time

Job summary

AgileEngine poszukuje inżyniera danych z silnym naciskiem na Databricks i GCP, by budować skalowalne pipeline'y ETL/ELT oraz produkcyjnie uruchamiać agentowe workflowy automatyzujące pracę z danymi. Wymaga 5+ lat doświadczenia z Databricks i PySpark, oraz solidnego SQL i GCP (BigQuery).

Znajomość Delta Lake, architektur lakehouse i angielski na poziomie upper-intermediate będą dodatkowym atutem. Dołączenie do zespołu to rozwijanie frameworków i dbałość o jakość danych w środowisku chmurowym.

Qualifications

• Minimum 5+ lat praktycznego doświadczenia z Databricks i PySpark.
• Zaawansowany SQL i umiejętność przetwarzania danych.
• Praktyczne doświadczenie z GCP, w szczególności z BigQuery.
• Doświadczenie z Delta Lake i nowoczesnymi architekturami data lake/lakehouse.
• Znajomość języka angielskiego na poziomie upper-intermediate.

Responsibilities

• Budowa skalowalnych pipeline'ów ETL/ELT w Databricks.
• Tworzenie i utrzymanie reużywalnych frameworków do pracy z danymi.
• Walidacja danych, wykrywanie problemów i troubleshooting.
• Dbałość o jakość, monitoring danych i optymalizację przepływów.
• Praca z PySpark, SQL, BigQuery i Delta Lake.

Skills

Databricks PySpark

Zaawansowany SQL

GCP BigQuery

Delta Lake

Angielski upper-intermediate

Job description

Rola Data Engineera z mocnym naciskiem na Databricks i GCP — budowa skalowalnych pipeline'ów ETL/ELT oraz produkcjonowanie agentowych workflow automatyzujących pracę z danymi (walidacja, wykrywanie problemów, troubleshooting). Będziesz pracować z PySpark, SQL, BigQuery i Delta Lake, budować reużywalne frameworki i dbać o jakość oraz monitoring danych. Uwaga: ogłoszenie urywa się w połowie zdania ('along with an upp...') — brakuje pełnego opisu wymagań, więc warto dopytać o szczegóły na rozmowie. Dla inżyniera danych, który chce łączyć klasyczną inżynierię danych z tematyką AI agentów.

• 5+ lat praktycznego doświadczenia z Databricks i PySpark
• zaawansowany SQL i umiejętność przetwarzania danych
• praktyczne doświadczenie z GCP, w szczególności z BigQuery
• doświadczenie z Delta Lake i nowoczesnymi architekturami data lake/lakehouse
• znajomość języka angielskiego na poziomie upper-intermediate