GCP Data Engineer | BigQuery, dbt, PySpark, Airflow

AtlantisJobs; Wrocław, Rzeszów, Warszawa; On-site; PLN 180,000 - 240,000; Full time

Job summary

Xebia poszukuje Data Engineera GCP we Wrocławiu do budowy i utrzymania warstw Lakehouse oraz optymalizacji pipeline'ów danych w BigQuery. Budujesz transformacje w dbt i PySpark, projektujesz i monitorujesz pipeline'y w Airflow, a także zarządzasz infrastrukturą przez Terraform oraz wdrażasz CI/CD w GitHub Actions.

Zakres obejmuje bezpieczeństwo chmury i governance danych (IAM, DLP, Dataplex). Wymagane praktyczne doświadczenie z dbt, Airflow, Pythonem, PySpark i BigQuery oraz z CI/CD i IaC.

Qualifications

• Praktyczne doświadczenie z dbt.
• Doświadczenie z Apache Airflow.
• Mocne umiejętności programowania w Pythonie.
• Doświadczenie z przetwarzaniem danych w PySpark.
• Praktyczne doświadczenie z BigQuery.
• Doświadczenie z GitHub Actions i wdrażaniem CI/CD.
• Doświadczenie z Infrastructure as Code w Terraform.

Responsibilities

• Budujesz i utrzymujesz warstwy Gold i Platinum Lakehouse.
• Optymalizujesz pipeline’y danych w BigQuery.
• Budujesz transformacje w dbt i PySpark.
• Projektujesz i monitorujesz pipeline’y w Airflow.
• Zarządzasz infrastrukturą przez Terraform.
• Wdrażasz CI/CD w GitHub Actions.
• Zajmujesz się bezpieczeństwem chmury i governance danych (IAM, DLP, Dataplex).

Skills

Python

SQL

Tools

dbt

Apache Airflow

GitHub Actions

Terraform

BigQuery

PySpark

Job description

Xebia poszukuje Data Engineera GCP we Wrocławiu do budowy i utrzymania warstw Lakehouse oraz optymalizacji pipeline'ów danych w BigQuery. Budujesz transformacje w dbt i PySpark, projektujesz i monitorujesz pipeline'y w Airflow, a także zarządzasz infrastrukturą przez Terraform oraz wdrażasz CI/CD w GitHub Actions.

Zakres obejmuje bezpieczeństwo chmury i governance danych (IAM, DLP, Dataplex). Wymagane praktyczne doświadczenie z dbt, Airflow, Pythonem, PySpark i BigQuery oraz z CI/CD i IaC.