Data Engineer - Azure/Databricks/AWS (Remote)

Integral Solutions - Data & AI; Warszawa; On-site; PLN 207,000 - 248,000; Full time

Benefits offered by this job

Pracę na kontrakcie B2B

Prezenty na różne okazje

Wydarzenia firmowe

Dostęp do platformy szkoleniowej

Dostęp do platformy językowej

Job summary

Integral Solutions - Data & AI poszukujeData Engineer do projektów opartych o Azure, Databricks i AWS. Rola obejmuje projektowanie i rozwój nowoczesnych platform danych, z naciskiem na Lakehouse, procesy ETL/ELT oraz zapewnienie wysokiej jakości danych dla zespołów analitycznych, BI i AI.

Wymagane 3–5 lat doświadczenia, biegła znajomość SQL, Pythona i PySpark, a także praktyczne doświadczenie z Databricks, Azure Data Platform i usługami AWS.

Qualifications

• Minimum 3–5 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość SQL oraz modelowania danych.
• Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT.
• Praktyczna znajomość Azure Data Platform.
• Doświadczenie komercyjne z Azure Databricks oraz Apache Spark (PySpark).
• Bardzo dobra znajomość języka Python.
• Doświadczenie w pracy z usługami danych AWS: S3, Glue, Athena, Redshift, EMR, Lambda.
• Znajomość architektury Data Lake, Data Warehouse oraz Lakehouse.
• Znajomość Git i pracy w środowisku Agile/Scrum.

Responsibilities

• Projektowanie, rozwój i utrzymanie procesów ETL/ELT dla danych z różnych źródeł.
• Budowa i rozwój rozwiązań Data Lake, Data Warehouse i Lakehouse w Azure i AWS.
• Tworzenie i optymalizacja pipeline'ów danych w Databricks i Spark (PySpark).
• Modelowanie danych i implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion.
• Integracja danych z ERP, CRM i źródeł zewnętrznych, API oraz usług chmurowych.
• Zapewnienie jakości danych poprzez walidację, monitoring i kontrolę procesów.
• Współpraca z Data Science, BI i IT Architecture.

Skills

SQL

Python

PySpark

Databricks

Azure

AWS

Data modeling

ETL/ELT

Git

Agile/Scrum

Lakehouse

Tools

Azure Databricks

Azure Data Factory

Data Lake Storage Gen2

Synapse Analytics

S3

Glue

Athena

Redshift

EMR

Lambda

Apache Spark

Job description

Integral Solutions - Data & AI poszukujeData Engineer do projektów opartych o Azure, Databricks i AWS. Rola obejmuje projektowanie i rozwój nowoczesnych platform danych, z naciskiem na Lakehouse, procesy ETL/ELT oraz zapewnienie wysokiej jakości danych dla zespołów analitycznych, BI i AI.

Wymagane 3–5 lat doświadczenia, biegła znajomość SQL, Pythona i PySpark, a także praktyczne doświadczenie z Databricks, Azure Data Platform i usługami AWS.