Data Engineer

Link Group; Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

Link Group poszukuje Data Engineera odpowiedzialnego za projektowanie i rozwój Platformy Danych oraz skalowalnych rozwiązań danych. Rola łączy zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne i kierunek rozwoju.

Zakres obowiązków obejmuje projektowanie i rozwój Platformy Danych w architekturze Lakehouse, udział w decyzjach architektonicznych, ELT dla raportowania i AI/ML, modele danych oraz optymalizację wydajności i kosztów, a także dbałość o

Qualifications

• Minimum 3 lata doświadczenia w obszarze Data Engineering.
• Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.
• Bardzo dobra znajomość Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.

Responsibilities

• Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.
• Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.
• Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.
• Tworzenie modeli danych i warstw analitycznych.
• Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.
• Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.
• Zapewnienie jakości, bezpieczeństwa i zgodności danych.
• Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.
• Pełnienie roli technicznego lidera w inicjatywach Data Platform.

Skills

Python

PySpark

SQL

Terraform

YAML

Databricks

Azure

Airflow

CI/CD

Unity Catalog

Tools

Databricks Delta Lake

Apache Spark

Azure Data Factory

Azure Databricks

Azure DevOps

Job description

Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju.

Zakres obowiązków

• Projektowanie i rozwój Platformy Danych w architekturze Lakehouse.
• Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych.
• Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML.
• Tworzenie modeli danych i warstw analitycznych.
• Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności.
• Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk.
• Zapewnienie jakości, bezpieczeństwa i zgodności danych.
• Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań.
• Pełnienie roli technicznego lidera w inicjatywach Data Platform.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering.
• Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych.
• Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles.
• Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych.
• Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub.
• Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture.
• Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog.
• Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.
• Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań.
• Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk.

Mile widziane

• Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering).
• Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych.
• Certyfikacje Databricks lub Data Engineering.