Remote Junior Data Engineer: Airflow, Snowflake & Python

TQLO SP. Z O.O.; United States; Remote; USD 45.000 - 70.000; Vollzeit

Zusammenfassung

TQLO SP. Z O.O. prowadzi projekt Data Engineering i rozwiązania chmurowe. Szukamy Junior Data Engineer z praktyczną znajomością Airflow, Pythona, Snowflake i dbt oraz umiejętnością samodzielnej realizacji zadań i komunikacji z biznesem.

Tryb współpracy: 100% zdalnie (z Polski). Start współpracy ASAP do 2 tygodni. Do obowiązków należy tworzenie i utrzymanie DAG-ów w Airflow, budowa pipeline'ów danych, transformacja danych w dbt, optymalizacja zapytań i współpraca z zespołami technicznymi.

Qualifikationen

• Około 2 lat komercyjnego doświadczenia w Data Engineering oraz praktyczna znajomość Airflow (operators, sensors, hooks, TaskFlow API, XCom, backfills).
• Dobra znajomość Python, umiejętność pisania czytelnego i testowalnego kodu; doświadczenie z pytest.
• Bardzo dobra znajomość SQL (CTE, okna, optymalizacja) i praktyczne doświadczenie z Snowflake.
• Doświadczenie z dbt (models, tests, macros) oraz AWS S3 (Data Lake, partycjonowanie, Parquet/JSON/CSV).
• Znajomość Git oraz podstaw CI/CD.
• Znajomość angielskiego na poziomie C1 umożliwiająca swobodną współpracę z biznesem.

Aufgaben

• Tworzenie i utrzymywanie DAG-ów w Apache Airflow z użyciem Pythona; zasilanie Data Lake w AWS S3 i hurtownię Snowflake.
• Budowanie pipeline'ów danych (ETL/ELT) łączących źródła: API, bazy danych, pliki.
• Modelowanie i transformacja danych z dbt; optymalizacja zapytań SQL i wydajności Snowflake.
• Zapewnienie jakości danych poprzez testy, walidację, monitoring i obsługę błędów.
• Współpraca z analitykami, zespołami technicznymi i biznesem; dokumentacja techniczna.

Kenntnisse

Apache Airflow

Python

SQL

Snowflake

dbt

AWS S3

Git

CI/CD

English (C1)

pytest

Tools

Docker

Kubernetes

Apache Iceberg

Delta Lake

Great Expectations

Soda

Jobbeschreibung

TQLO SP. Z O.O. prowadzi projekt Data Engineering i rozwiązania chmurowe. Szukamy Junior Data Engineer z praktyczną znajomością Airflow, Pythona, Snowflake i dbt oraz umiejętnością samodzielnej realizacji zadań i komunikacji z biznesem.

Tryb współpracy: 100% zdalnie (z Polski). Start współpracy ASAP do 2 tygodni. Do obowiązków należy tworzenie i utrzymanie DAG-ów w Airflow, budowa pipeline'ów danych, transformacja danych w dbt, optymalizacja zapytań i współpraca z zespołami technicznymi.