Data Engineer: Прогноз цены и ликвидности недвижимости

Домклик; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

ДМС с первого месяца

Современная техника

Корпоративный университет

Онлайн-курсы/конференции

Фитнес-зал

Ипотечная льготная программа

Job summary

HireHi развивает сервисы для недвижимости и ищет инженера по данным для поддержки Feature Store и ML конвейеров. Вы будете работать над развитием инфраструктуры, конвейеров данных и качеством данных.

Кандидат должен обладать глубоким знанием Python и опытом оркестрации данных с dbt/Airflow/Beam, а также работать с PostgreSQL/Greenplum и ClickHouse. Вакансия предполагает работу в аккредитованной IT-компании с корпоративным сервисом.

Qualifications

• Отличное знание Python.
• Опыт оркестрации данных с dbt, Airflow или Beam.
• Опыт работы с Greenplum, PostgreSQL и ClickHouse.
• Понимание архитектуры данных, включая SCD.

Responsibilities

• Развивать и поддерживать Feature Store.
• Решать задачи управления данными и обеспечения их качества с помощью OpenMetaData.
• Проектировать и реализовывать конвейеры обработки данных для работы моделей машинного обучения.
• Участвовать в проектировании интеграций Feature Store с ML-сервисами и командами.
• Участвовать во внедрении новых инфраструктурных решений для работы с большими данными.

Skills

Python

Data orchestration

Data quality

SCD concepts

Tools

dbt

Airflow

Beam

Greenplum

PostgreSQL

ClickHouse

Kubernetes

Kafka

S3

Apache Iceberg

Job description

HireHi развивает сервисы для недвижимости и ищет инженера по данным для поддержки Feature Store и ML конвейеров. Вы будете работать над развитием инфраструктуры, конвейеров данных и качеством данных.

Кандидат должен обладать глубоким знанием Python и опытом оркестрации данных с dbt/Airflow/Beam, а также работать с PostgreSQL/Greenplum и ClickHouse. Вакансия предполагает работу в аккредитованной IT-компании с корпоративным сервисом.