Senior ML Engineer - Large-Scale Entity Matching

NDA; Warszawa; On-site; PLN 220,000 - 300,000; Full time

Job summary

HireHi ищет профессионала для разработки и оптимизации алгоритмов сопоставления сущностей и дедупликации на больших данных в рамках европейского хаба. Вы будете проектировать масштабируемые конвейеры на Spark, работать с Snowflake и DBT, а также внедрять ML-асистируемые методы для повышения точности и скорости обработки.

Требуется глубокий опыт Python и распределённых систем, навыки работы с Snowflake/Databricks, Airflow и современными инструментами для больших данных.

Qualifications

• 5+ лет разработки на Python в команде с лид-ролями
• Опыт работы с распределёнными системами и алгоритмами
• Опыт построения сложных конвейеров данных
• Сильные навыки SQL, Snowflake или аналогичных аналитических БД
• Практический опыт Spark/Databricks
• Опыт ML/AI-подсистем и эмбеддингов
• Знакомство с семантическим сопоставлением (fuzzy) и векторными методами
• Готовность осваивать новые техники семантического сопоставления
• Приветствуется Airflow, Elasticsearch/OpenSearch, Kubernetes и крупномасштабные пайплайны

Responsibilities

• Разрабатывать и улучшать алгоритмы сопоставления сущностей, кластеринга и дедупликации на больших данных
• Реализовывать распределённые подходы к сопоставлению, включая блокировочные стратегии и много-pass конвейеры
• Применять и сочетать rule-based, статистические и ML-аспектные методы, включая embeddings
• Оптимизировать генерацию кандидатов и ранжирование по точности, recalls, производительности и стоимости
• Переводить идеи в масштабируемые реализации на Spark и трансформации SQL
• Экспериментировать с подходами и улучшать их по метрикам производительности
• Разрабатывать и эксплуатировать крупную аналитическую систему, обрабатывающую сотни миллионов—миллиарды записей
• Строить и поддерживать сложные пайплайны Spark для сопоставления и дедупликации
• Создавать и поддерживать рабочие процессы с Airflow и DBT
• Обеспечивать устойчивость, наблюдаемость и экономичность в распределённых окружениях
• Разрабатывать аналитические SQL-модели в Snowflake или аналогах
• Оптимизировать крупные соединения, агрегации и оконные функции над большими данными
• Разрабатывать модели данных для пайплайнов сопоставления и потребителей
• Создавать валидационную логику и метрики для оценки точности партнёрства

Skills

Python

Distributed systems

Data pipelines

SQL

Spark/Databricks

ML/AI

Semantic matching

Airflow

Kubernetes

Tools

Snowflake

Databricks

Apache Spark

Airflow

DBT

Elasticsearch/OpenSearch

Kubernetes

Job description

HireHi ищет профессионала для разработки и оптимизации алгоритмов сопоставления сущностей и дедупликации на больших данных в рамках европейского хаба. Вы будете проектировать масштабируемые конвейеры на Spark, работать с Snowflake и DBT, а также внедрять ML-асистируемые методы для повышения точности и скорости обработки.

Требуется глубокий опыт Python и распределённых систем, навыки работы с Snowflake/Databricks, Airflow и современными инструментами для больших данных.