Python Data Quality Engineer | GCP Data Pipelines

Astek; Warszawa; Ibrido; PLN 207.000 - 272.000; Tempo pieno

Vantaggi offerti da questo lavoro

Multisport

Private medical care

Life insurance

Mentoring Center

Career path

Referral bonus 7000 PLN

Hybrid work (Warsaw, 2 office days)

Office in Warsaw

Descrizione del lavoro

HireHi ищет инженера по данным для разработки Python-приложений и бэкенда, создания конвейеров обработки данных в банковской среде. Ваша работа будет направлена на внедрение механизмов качества данных, настройку правил валидации и работу с SQL, BigQuery, Dataplex, Dataproc, Airflow.

Ожидается опыт работы с GCP, dbt и интеграции систем в облаке. Предоставляется гибридный формат работы в Варшаве, пакет преимуществ и ясная карьерная лестница.

Competenze

• Глубокие знания Python и разработки бэкенда.
• Опыт работы с SQL и большими данными.
• Коммерческий опыт в проектах Data Quality.
• Опыт создания облачных решений на Google Cloud Platform (GCP).
• Знание сервисов: BigQuery, Dataplex, Dataproc, Cloud Composer/Airflow.
• Опыт проектирования конвейеров обработки данных.
• Опыт интеграции систем в облаке.
• Знание dbt и трансформаций данных.
• Опыт работы с GitHub и управление кодом.
• Знание Google Artifact Registry.

Mansioni

• Разработка Python-приложений и бэкенда.
• Создание решений по обработке данных, валидации и качеству.
• Реализация механизмов Data Quality и правил валидации.
• Разработка SQL и рабочих процессов в BigQuery.
• Проектирование конвейеров обработки на GCP.
• Использование Dataplex, Dataproc, BigQuery, Airflow.
• Разработка трансформаций данных с dbt.
• Интеграция систем и источников данных в облаке.
• Анализ источников проблем качества данных.

Conoscenze

Python

SQL

Data Quality

GCP

BigQuery

Dataplex

Dataproc

Airflow

dbt

GitHub

Artifact Registry

Banking sector

Strumenti

BigQuery

Dataplex

Dataproc

Airflow

dbt

GitHub

Artifact Registry

Descrizione del lavoro

HireHi ищет инженера по данным для разработки Python-приложений и бэкенда, создания конвейеров обработки данных в банковской среде. Ваша работа будет направлена на внедрение механизмов качества данных, настройку правил валидации и работу с SQL, BigQuery, Dataplex, Dataproc, Airflow.

Ожидается опыт работы с GCP, dbt и интеграции систем в облаке. Предоставляется гибридный формат работы в Варшаве, пакет преимуществ и ясная карьерная лестница.