Remote Data Engineer: Databricks & PySpark for AML

emagine Polska; Warszawa; On-site; PLN 165,000 - 214,000; Full time

Job summary

emagine Polska poszukuje Data Engineera do rozwoju i migracji warstwy danych AML. Kluczowe zadania to budowa i rozwój rozwiązań opartych o Databricks i PySpark, integracja danych z wielu źródeł oraz rozwój procesów ETL. Praca zdalna; stawka do 155 pln/h + VAT.

Wymagane są zaawansowane umiejętności Databricks, PySpark, Python i SQL/PL/SQL oraz doświadczenie w ETL i integracji danych. Mile widziane AML i Data Warehouse.

Qualifications

• Databricks – bardzo dobra znajomość narzędzia
• PySpark – bardzo dobra znajomość
• Python – zaawansowana znajomość
• SQL/PL/SQL – zaawansowana znajomość
• Projektowanie i rozwijanie procesów ETL
• Integracja danych z wielu źródeł (API, bazy danych, batch)

Responsibilities

• Rozwój i utrzymanie rozwiązań w Databricks z PySpark.
• Projektowanie, rozwój i optymalizacja procesów ETL.
• Integracja danych z różnych źródeł (API, bazy danych, pliki, batch).
• Migracja istniejących procesów ETL do nowej architektury danych.
• Transformacja, czyszczenie i mapowanie danych.
• Tworzenie i optymalizacja zapytań SQL.
• Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.

Job description

emagine Polska poszukuje Data Engineera do rozwoju i migracji warstwy danych AML. Kluczowe zadania to budowa i rozwój rozwiązań opartych o Databricks i PySpark, integracja danych z wielu źródeł oraz rozwój procesów ETL. Praca zdalna; stawka do 155 pln/h + VAT.

Wymagane są zaawansowane umiejętności Databricks, PySpark, Python i SQL/PL/SQL oraz doświadczenie w ETL i integracji danych. Mile widziane AML i Data Warehouse.