Azure Data Engineer: Scale Data Lakes & Pipelines

act digital

United States

Remote

USD 41,000 - 58,000

Full time

10 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Premia za polecenie Kandydatów do 6 %6

Karta Medicover

Karta Multisport

Szkolenia i certyfikaty techniczne

Job summary

act digital poszukuje Data Engineera odpowiedzialnego za projektowanie i rozwój rozwiązań do przetwarzania danych w środowisku Azure. Będziesz tworzyć pipeline’y łączące źródła danych, API i platformy przetwarzania strumieniowego oraz rozwijać procesy ETL/ELT w Databricks i Azure Data Factory.

Praca wymaga biegłej znajomości SQL i PySpark, modelowania danych oraz ścisłej współpracy z zespołami Data Science i architektami chmury. Mile widziane doświadczenie z Power BI i praktyki CI/CD.

Qualifications

Doświadczenie w architekturze Data Lake/ Lakehouse.
Praktyczna znajomość Databricks i Azure Data Factory.
SQL i PySpark na zaawansowanym poziomie.
Modelowanie danych i projektowanie procesów ETL/ELT.
Znajomość Pythona do transformacji danych i orkiestracji.

Responsibilities

Projektowanie i rozwijanie skalowalnych rozwiązań przetwarzania danych w Azure.
Tworzenie i utrzymywanie pipeline’ów danych łączących bazy danych, API i strumienie danych.
Rozwój procesów ETL/ELT z użyciem Azure Data Factory i Databricks.
Współpraca z zespołami danych, analitykami i architektami chmury.
Wdrażanie dobrych praktyk CI/CD i DevOps w przetwarzaniu danych.
Integracja platformy danych z Power BI.