Senior Data Engineer – GCP, Airflow & dbt Pipelines

idpp; United States; Remote; USD 161,000 - 212,000; Full time

Benefits offered by this job

Job summary

idpp ищет опытного Data Engineer для поддержки ускорения доставки NL и разработки слоя отчетности по данным в VISTA. Работа включает проектирование масштабируемых пайплайнов и аналитических наборов данных для отчетности на больших транзакционных данных.

Требуется опыт работы с GCP (BigQuery, GCS) и dbt, SQL, Python; знание моделирования данных и истории данных. Условия: 6 месяцев, оплата 900€ в день на условиях B2B.

Qualifications

• Навыки SQL и Python для разработки ELT/ETL процессов и аналитических наборов данных.
• Опыт работы с облачными сервисами Google Cloud Platform (GCP), BigQuery и GCS.
• Опыт моделирования данных, dbt, историзации и контроля качества данных.

Responsibilities

• Разрабатывать и поддерживать ELT/ETL конвейеры с Airflow/Cloud Composer и сервисами Google Cloud.
• Разрабатывать dbt-модели: трансформации, historization, тестирование и документацию.
• Поддерживать развёртывание и агрегацию данных для аналитических наборов.
• Оптимизировать аналитические наборы для отчетности и аналитики.
• Обеспечивать качество данных и надёжную поставку больших транзакционных наборов данных.

Skills

SQL

Python

Airflow

dbt

GCP

Tools

BigQuery

GCS

Cloud Composer

Airflow

Git

Job description

idpp ищет опытного Data Engineer для поддержки ускорения доставки NL и разработки слоя отчетности по данным в VISTA. Работа включает проектирование масштабируемых пайплайнов и аналитических наборов данных для отчетности на больших транзакционных данных.

Требуется опыт работы с GCP (BigQuery, GCS) и dbt, SQL, Python; знание моделирования данных и истории данных. Условия: 6 месяцев, оплата 900€ в день на условиях B2B.