data engineer для оценки стоимости недвижимости

Домклик; United States; On-site; USD 120,000 - 180,000; Full time

Benefits offered by this job

ДМС с первого месяца

Современная техника

Корпоративный университет

Онлайн-курсы/конференции

Фитнес-зал

Ипотечная льготная программа

Офис класса А рядом с м. Кутузовская

Job summary

HireHi развивает сервисы для недвижимости и ищет инженера по данным для поддержки Feature Store и ML конвейеров. Вы будете работать над развитием инфраструктуры, конвейеров данных и качеством данных.

Кандидат должен обладать глубоким знанием Python и опытом оркестрации данных с dbt/Airflow/Beam, а также работать с PostgreSQL/Greenplum и ClickHouse. Вакансия предполагает работу в аккредитованной IT-компании с корпоративным сервисом.

Qualifications

• Отличное знание Python.
• Опыт оркестрации данных с dbt, Airflow или Beam.
• Опыт работы с Greenplum, PostgreSQL и ClickHouse.
• Понимание архитектуры данных, включая SCD.
• Будет плюсом Kubernetes, CDC, Kafka, S3 и Apache Iceberg.

Responsibilities

• Развивать и поддерживать Feature Store.
• Решать задачи управления данными и обеспечения их качества с помощью OpenMetaData.
• Проектировать и реализовывать конвейеры обработки данных для работы моделей машинного обучения.
• Участвовать в проектировании интеграций Feature Store с ML-сервисами и командами.
• Участвовать во внедрении новых инфраструктурных решений для работы с большими данными.

Skills

Python

Data orchestration

Data quality

SCD concepts

Tools

dbt

Airflow

Beam

Greenplum

PostgreSQL

ClickHouse

Kubernetes

Kafka

S3

Apache Iceberg

Apache Iceberg

Job description

Описание

Домклик развивает сервисы для недвижимости. Команда создаёт инструмент прогнозирования рыночной цены и ликвидности недвижимости и строит Feature Store с данными о недвижимости, клиентах и состоянии рынка.

Задачи

• Развивать и поддерживать Feature Store
• Решать задачи управления данными и обеспечения их качества с помощью OpenMetaData
• Проектировать и реализовывать конвейеры обработки данных для работы моделей машинного обучения
• Участвовать в проектировании интеграций Feature Store с ML-сервисами и командами
• Участвовать во внедрении новых инфраструктурных решений для работы с большими данными

Требования

• Отличное знание Python
• Опыт оркестрации данных с dbt, Airflow или Beam
• Опыт работы с Greenplum, PostgreSQL и ClickHouse
• Понимание архитектуры данных, включая SCD
• Будет плюсом: опыт работы с Kubernetes, системами, управляемыми событиями, CDC, Kafka, S3 или Apache Iceberg

Условия

• Работа в аккредитованной IT-компании
• Конкурентная заработная плата
• Полис ДМС с первого месяца работы
• Современная техника для работы
• Корпоративный университет, онлайн-курсы, конференции и митапы
• Фитнес-зал в здании офиса
• Льготная программа ипотеки для сотрудников
• Офис класса А в пяти минутах от станции метро и МЦК «Кутузовская»
• Гибкое начало рабочего дня