Data Engineer - Databricks, PySpark & AML Migration Lead

act digital EMEA - Alter Solutions; Town of Poland (NY); On-site; USD 52,000 - 59,000; Full time

Benefits offered by this job

Karta Medicover

Szkolenia i certyfikaty do 2 000 zł

Elastyczna forma współpracy: umowa oPr

Premia za polecenie Kandydatów do 6 0

Regularne imprezy integracyjne i upom<

Job summary

act digital EMEA - Alter Solutions poszukuje doświadczonego Data Engineera do realizacji projektu związanego z rozwojem i migracją warstwy danych AML w oparciu o Databricks. Zespół pracuje nad centralizacją danych z wielu źródeł, migracją procesów ETL oraz dostosowaniem architektury danych.

Wymagane jest 5+ lat doświadczenia, biegła znajomość Databricks i PySpark, umiejętność programowania w Pythonie, oraz dobra znajomość SQL (Teradata/PLSQL). Język angielski na poziomie min.

Qualifications

• Co najmniej 5 lat doświadczenia jako Data Engineer.
• Dobra znajomość Databricks i PySpark.
• Doświadczenie w Pythonie.
• Znajomość SQL (Teradata/PLSQL).
• Doświadczenie w projektowaniu i rozwijaniu procesów ETL.
• Doświadczenie w integracji danych z różnych źródeł (API, batch).
• Doświadczenie w projektach związanych z przetwarzaniem i migracją danych.
• Język angielski min. B2.

Responsibilities

• Projektowanie i rozwój procesów ETL oraz migracja istniejących przepływów danych.
• Tworzenie rozwiązań do integracji danych z różnych źródeł (API, batch).
• Rozwój procesów przetwarzania danych z użyciem Python, PySpark i Databricks.
• Współpraca przy projektowaniu architektury danych oraz analizie wymagań biznesowych.

Skills

PySpark

Python

Databricks

SQL (Teradata/PLSQL)

ETL design

Data integration

AML domain

English (B2)

Job description

act digital EMEA - Alter Solutions poszukuje doświadczonego Data Engineera do realizacji projektu związanego z rozwojem i migracją warstwy danych AML w oparciu o Databricks. Zespół pracuje nad centralizacją danych z wielu źródeł, migracją procesów ETL oraz dostosowaniem architektury danych.

Wymagane jest 5+ lat doświadczenia, biegła znajomość Databricks i PySpark, umiejętność programowania w Pythonie, oraz dobra znajomość SQL (Teradata/PLSQL). Język angielski na poziomie min.