Data Engineer – Azure Databricks

Talanto; Warszawa; Hybrid; PLN 152,000 - 207,000; Full time

Benefits offered by this job

Zdalna współpraca

Międzynarodowy projekt

Job summary

Talanto poszukuje Data Engineera do rozwoju skalowalnych rozwiązań danych w środowisku Microsoft Azure, wykorzystując Azure Databricks, Python i PySpark.

Praca 100% zdalna na B2B. Oczekujemy bardzo dobrego angielskiego i minimum 2 lat doświadczenia z Azure. Stawka do 130 PLN netto + VAT za godzinę, długoterminowa współpraca w międzynarodowym projekcie.

Qualifications

• Minimum 2 lata doświadczenia z Microsoft Azure.
• Dobra znajomość Pythona i PySpark.
• Doświadczenie z Azure Databricks i Data Factory.
• Znajomość SQL i modelowania danych.
• Doświadczenie w CI/CD i testach automatycznych.

Responsibilities

• Budowa i optymalizacja pipeline'ów danych oraz procesów ETL/ELT.
• Przetwarzanie danych przy użyciu Pythona i PySpark.
• Rozwój rozwiązań opartych na Azure Databricks, Data Factory i Azure Storage.
• Wdrażanie testów automatycznych, kontroli jakości danych i monitoringu.
• Udział w procesach CI/CD i automatyzacji wdrożeń.
• Rozwiązywanie problemów z wydajnością i skalowalnością.
• Współpraca z zespołami technicznymi i biznesowymi.

Tools

Azure Databricks

Python

PySpark

Azure Data Factory

Azure DevOps

SQL

CI/CD

Data Quality

Job description

W współpracujemy z czołowymi firmami z branży IT, wspierając je w realizacji nowoczesnych projektów technologicznych.

Informacje o roli

Poszukujemy Data Engineera, który będzie rozwijać skalowalne rozwiązania danych w środowisku Microsoft Azure, wykorzystując Azure Databricks, Python, PySpark i Azure Data Factory.

Praca: 100% zdalna

Forma współpracy: B2B

Język angielski: bardzo dobry

Start: do ustalenia

Twoje zadania

budowa i optymalizacja pipeline'ów danych oraz procesów ETL/ELT,

przetwarzanie danych przy użyciu Pythona i PySpark,

rozwijanie rozwiązań opartych na Azure Databricks, Data Factory i Azure Storage,

wdrażanie testów automatycznych, kontroli jakości danych i monitoringu,

udział w procesach CI/CD i automatyzacji wdrożeń,

rozwiązywanie problemów z wydajnością i skalowalnością,

współpraca z zespołami technicznymi i biznesowymi.

Czego oczekujemy?

min. 2 lat doświadczenia z Microsoft Azure,

praktycznej znajomości Azure Databricks, Azure Data Factory i Azure DevOps,

bardzo dobrej znajomości Pythona i PySpark,

dobrej znajomości SQL, modelowania danych i procesów ETL/ELT,

doświadczenia z CI/CD, testami automatycznymi i TDD,

znajomości zagadnień data quality, data governance i data integration,

doświadczenia w pracy w środowisku DevOps i Agile/Scrum,

bardzo dobrej znajomości języka angielskiego.

Mile widziane

doświadczenie z hurtowniami danych lub Big Data.

100% pracy zdalnej,

stawkę do 130 PLN netto + VAT/h na B2B,

długoterminową współpracę,

międzynarodowy projekt wykorzystujący nowoczesne technologie Azure.