Junior Data Engineer (Airflow / Snowflake)

TQLO SP. Z O.O.; United States; Remote; USD 45,000 - 70,000; Full time

Job summary

TQLO SP. Z O.O. prowadzi projekt Data Engineering i rozwiązania chmurowe. Szukamy Junior Data Engineer z praktyczną znajomością Airflow, Pythona, Snowflake i dbt oraz umiejętnością samodzielnej realizacji zadań i komunikacji z biznesem.

Tryb współpracy: 100% zdalnie (z Polski). Start współpracy ASAP do 2 tygodni. Do obowiązków należy tworzenie i utrzymanie DAG-ów w Airflow, budowa pipeline'ów danych, transformacja danych w dbt, optymalizacja zapytań i współpraca z zespołami technicznymi.

Qualifications

• Około 2 lat komercyjnego doświadczenia w Data Engineering oraz praktyczna znajomość Airflow (operators, sensors, hooks, TaskFlow API, XCom, backfills).
• Dobra znajomość Python, umiejętność pisania czytelnego i testowalnego kodu; doświadczenie z pytest.
• Bardzo dobra znajomość SQL (CTE, okna, optymalizacja) i praktyczne doświadczenie z Snowflake.
• Doświadczenie z dbt (models, tests, macros) oraz AWS S3 (Data Lake, partycjonowanie, Parquet/JSON/CSV).
• Znajomość Git oraz podstaw CI/CD.
• Znajomość angielskiego na poziomie C1 umożliwiająca swobodną współpracę z biznesem.

Responsibilities

• Tworzenie i utrzymywanie DAG-ów w Apache Airflow z użyciem Pythona; zasilanie Data Lake w AWS S3 i hurtownię Snowflake.
• Budowanie pipeline'ów danych (ETL/ELT) łączących źródła: API, bazy danych, pliki.
• Modelowanie i transformacja danych z dbt; optymalizacja zapytań SQL i wydajności Snowflake.
• Zapewnienie jakości danych poprzez testy, walidację, monitoring i obsługę błędów.
• Współpraca z analitykami, zespołami technicznymi i biznesem; dokumentacja techniczna.

Skills

Apache Airflow

Python

SQL

Snowflake

dbt

AWS S3

Git

CI/CD

English (C1)

pytest

Tools

Docker

Kubernetes

Apache Iceberg

Delta Lake

Great Expectations

Soda

Job description

Nasz Klient to firma technologiczna realizująca projekty z obszaru Data Engineering i rozwiązań chmurowych. Projekt koncentruje się na rozwoju i utrzymaniu procesów przetwarzania danych, integracji różnych źródeł oraz zapewnieniu wysokiej jakości i wydajności danych. Szukamy osoby na stanowisko Junior Data Engineer, która ma praktyczną znajomość Apache Airflow, Python, Snowflake i dbt oraz potrafi samodzielnie realizować zadania i komunikować się z biznesem.

Tryb współpracy: 100% zdalnie (z Polski)
Start współpracy: asap do 2 tygodni

CZYM BĘDZIESZ SIĘ ZAJMOWAĆ?

• Tworzeniem, rozwijaniem i utrzymywaniem procesów przetwarzania danych (DAG) w Apache Airflow z wykorzystaniem Python, zasilających Data Lake w AWS S3 oraz hurtownię danych Snowflake.

• Budowaniem pipeline'ów danych (ETL/ELT), integrujących informacje z różnych źródeł, takich jak API, bazy danych i pliki.

• Modelowaniem i transformacją danych z wykorzystaniem dbt oraz optymalizacją zapytań SQL i wydajności Snowflake.

• Zapewnianiem jakości danych poprzez testowanie, walidację, monitoring i obsługę błędów w procesach przetwarzania.

• Współpracą z analitykami, zespołami technicznymi i przedstawicielami biznesu.

• Tworzeniem i aktualizacją dokumentacji technicznej.

CZEGO OD CIEBIE OCZEKUJEMY?

Must-have:

• Około 2 lat komercyjnego doświadczenia w obszarze Data Engineering oraz praktycznej znajomości Apache Airflow (operators, sensors, hooks, TaskFlow API, XCom, backfills).

• Dobrej znajomości Python, umiejętności pisania czytelnego i testowalnego kodu oraz doświadczenia z pytest.

• Bardzo dobrej znajomości SQL (CTE, funkcje okna, optymalizacja zapytań) oraz praktycznego doświadczenia z Snowflake.

• Doświadcienia z dbt (models, tests, macros, snapshots, incremental models) oraz AWS S3 (Data Lake, partycjonowanie, formaty Parquet/JSON/CSV).

• Znajomości Git oraz podstaw procesów CI/CD (Continuous Integration / Continuous Delivery).

• Samodzielności, komunikatywności i znajomości języka angielskiego na poziomie C1, umożliwiającej swobodną współpracę z biznesem.

Nice-to-have:

• Znajomość Docker, Kubernetes oraz formatów tabel Apache Iceberg lub Delta Lake.

• Doświadczenie z narzędziami do kontroli jakości danych, np. Great Expectations lub Soda.

• Znajomość modelowania wymiarowego danych (Kimball).

DLACZEGO WARTO?

• Możliwość pracy w 100% zdalnej, z dowolnego miejsca w Polsce.

• Udział w projekcie Data Engineering opartym na nowoczesnych technologiach i rozwiązaniach chmurowych.

• Możliwość zdobywania doświadczenia w projektowaniu i optymalizacji procesów przetwarzania danych.

• Samodzielność w realizacji zadań i bezpośrednia współpraca z zespołami technicznymi oraz biznesem.

• Rozwój kompetencji w obszarze inżynierii danych.

Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami.