GCP Data Engineer — Cloud Pipelines & BigQuery (Remote)

Sii Ukraїna TOV; Poland; Hybrid; PLN 180,000 - 300,000; Full time

Job summary

Sii Ukraїna TOV запрошує інженера з даних для створення та підтримки масштабованих конвеєрів даних на основі Google Cloud Platform. Ваша робота включає роботу з BigQuery як головним сховищем даних, моделювання даних, оптимізацію запитів та витрат, забезпечення продуктивності та надійності рішень.

Також ви інтегруватимете дані з різних джерел, будете оркеструвати потоки за допомогою Apache Airflow / Cloud Composer, налаштовувати CI/CD для конвеєрів та інфраструктури, управляти облачною

Qualifications

• Мінімум 4 роки досвіду на посаді Data Engineer або аналогічній позиції з роботою з даними у виробничому середовищі
• Високий рівень знань Google Cloud Platform, зокрема BigQuery та Cloud Storage
• Здатність проектувати, будувати та підтримувати конвеєри даних (пакетні та/або потокові)
• Сильні навички SQL та Python для обробки даних та оркестрації
• Досвід оркестрації робочих процесів (Apache Airflow / Cloud Composer)
• Досвід впровадження CI/CD для рішень з даних, напр. GitHub Actions, GitLab CI, Cloud Build
• Знайомство з IaC, зокрема Terraform
• Попередній досвід роботи з великими об’ємами даних, з урахуванням продуктивності та надійності
• Необхідно знаходитися в Польщі та вільно володіти польською мовою

Responsibilities

• Розробка, впровадження та підтримка масштабованих конвеєрів даних на основі Google Cloud Platform
• Робота з BigQuery як основним сховищем даних: моделювання даних, оптимізація запитів та витрат, забезпечення продуктивності та надійності рішень
• Інтеграція даних з різних джерел (файли, бази даних, API, події) та обробка даних
• Оркестрація даних за допомогою Apache Airflow / Cloud Composer
• Створення та підтримка CI/CD рішень для конвеєрів даних та інфраструктури
• Управління хмарною інфраструктурою за підходом IaC (Terraform)
• Забезпечення якості даних, моніторинг конвеєрів та швидке реагування на інциденти
• Співпраця з аналітиками, BI та продуктовими командами для стабільних та добре задокументованих даних
• Участь у розробці архітектури даних та спільне визначення найкращих практик в обробці даних

Skills

Data modeling

Data quality

Data pipelines design

Production data experience

Tools

Google Cloud Platform

BigQuery

Cloud Composer

Apache Airflow

Terraform

Databricks

Snowflake

DBT

Apache Spark

PySpark

Dataflow

Job description

Sii Ukraїna TOV запрошує інженера з даних для створення та підтримки масштабованих конвеєрів даних на основі Google Cloud Platform. Ваша робота включає роботу з BigQuery як головним сховищем даних, моделювання даних, оптимізацію запитів та витрат, забезпечення продуктивності та надійності рішень.

Також ви інтегруватимете дані з різних джерел, будете оркеструвати потоки за допомогою Apache Airflow / Cloud Composer, налаштовувати CI/CD для конвеєрів та інфраструктури, управляти облачною