Data Engineer (with Snowflake & Airflow)

TQLO SP. Z O.O.; United States; Remote; USD 46,000 - 81,000; Full time

Job summary

TQLO SP. Z O.O. poszukuje doświadczonego Data Engineera do współpracy w modelu B2B. Zakres obejmuje projektowanie i budowę skalowalnych pipeline’ów danych, w tym Airflow, Python, Snowflake i dbt, z zasilaniem Data Lake w AWS S3.

Wymagane minimum 3 lata doświadczenia, zaawansowana znajomość SQL i narzędzi data stack, a także solidna znajomość angielskiego (B2/C1).

Qualifications

• Minimum 3 lata komercyjnego doświadczenia w Data Engineering.
• Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, TaskFlow API).
• Bardzo dobra znajomość Pythona oraz testowania (pytest).
• Zaawansowana znajomość SQL (CTA, okna, optymalizacja).
• Doświadczenie ze Snowflake (warehouses, stages, COPY INTO).
• Doświadczenie z dbt (models, tests, macros, snapshots, incremental).
• Znajomość AWS S3, Data Lake, Parquet/JSON/CSV, IAM policies.
• Znajomość Git i CI/CD.
• Znajomość angielskiego na poziomie B2/C1.

Responsibilities

• Projektowanie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Airflow z Pythonem.
• Implementacja ETL/ELT łączących API, bazy danych i pliki do Data Lake (AWS S3) i Snowflake.
• Modelowanie i transformacja danych z dbt.
• Optymalizacja zapytań SQL oraz kosztów przetwarzania danych w Snowflake.
• Projektowanie monitorowania, alertów i obsługi błędów w pipeline’ach.
• Wdrażanie testów jakości danych (walidacje) i utrzymywanie dokumentacji technicznej.

Skills

Apache Airflow

Python

Snowflake

dbt

SQL

Git

CI/CD

English B2/C1

Tools

Docker

Kubernetes

Great Expectations

Soda

Job description

Poszukujemy doświadczonego Data Engineera zainteresowanego współpracą w modelu B2B, w ramach projektu realizowanego dla naszego klienta.

Zakres usług obejmuje projektowanie, budowę i optymalizację skalowalnych pipeline’ów danych z wykorzystaniem Apache Airflow, Python, Snowflake oraz dbt, a także rozwój procesów integracji i transformacji danych, zasilanie Data Lake (AWS S3) oraz optymalizację wydajności i kosztów przetwarzania danych.

Model współpracy: B2B | 100% zdalnie (z terytorium Polski)

Rozpoczęcie świadczenia usług: ASAP – preferowana dostępność od zaraz lub w ciągu maksymalnie 2 tygodni.

Zakres usług

• Projektowanie, tworzenie i rozwój skalowalnych pipeline’ów danych oraz DAG-ów w Apache Airflow z wykorzystaniem Pythona.
• Implementacja procesów ETL/ELT integrujących dane z API, baz danych oraz plików do Data Lake (AWS S3) i Snowflake.
• Modelowanie i transformacja danych z wykorzystaniem dbt.
• Optymalizacja zapytań SQL oraz wydajności i kosztów przetwarzania danych w Snowflake.
• Projektowanie i wdrażanie mechanizmów monitorowania, alertowania oraz obsługi błędów w pipeline’ach danych.
• Implementacja mechanizmów kontroli jakości danych, w tym testów i walidacji.
• Opracowywanie i aktualizacja dokumentacji technicznej dotyczącej dostarczanych rozwiązań.

Wymagania

• Minimum 3 lata komercyjnego doświadczenia w realizacji projektów Data Engineering.
• Bardzo dobra znajomość Apache Airflow (DAGs, operators, sensors, hooks, TaskFlow API, XCom, pools, backfills, idempotent DAG design).
• Bardzo dobra znajomość Pythona, w tym tworzenia czytelnego, testowalnego kodu oraz testów z wykorzystaniem pytest.
• Zaawansowana znajomość SQL (CTE, window functions, optymalizacja zapytań).
• Praktyczne doświadczenie ze Snowflake (warehouses, stages, external volumes, COPY INTO).
• Doświadczenie z dbt (models, tests, macros, snapshots, incremental models).
• Znajomość AWS S3, architektury Data Lake, partycjonowania danych, formatów Parquet, JSON, CSV oraz polityk IAM.
• Doświadczenie z Git i CI/CD.
• Znajomość języka angielskiego na poziomie B2/C1.
• Samodzielność w realizacji powierzonych usług, odpowiedzialność za jakość dostarczanych rozwiązań oraz umiejętność komunikacji z interesariuszami technicznymi i biznesowymi.

Mile widziane

• Znajomość Docker i Kubernetes.
• Doświadczenie z Apache Iceberg lub Delta Lake.
• Znajomość narzędzi Data Quality i Data Observability (Great Expectations, Soda).
• Doświadczenie w modelowaniu wymiarowym danych (Kimball).