ml engineer for entity resolution

NDA; Warszawa; On-site; PLN 220,000 - 300,000; Full time

Job summary

HireHi ищет профессионала для разработки и оптимизации алгоритмов сопоставления сущностей и дедупликации на больших данных в рамках европейского хаба. Вы будете проектировать масштабируемые конвейеры на Spark, работать с Snowflake и DBT, а также внедрять ML-асистируемые методы для повышения точности и скорости обработки.

Требуется глубокий опыт Python и распределённых систем, навыки работы с Snowflake/Databricks, Airflow и современными инструментами для больших данных.

Qualifications

• 5+ лет разработки на Python в команде с лид-ролями
• Опыт работы с распределёнными системами и алгоритмами
• Опыт построения сложных конвейеров данных
• Сильные навыки SQL, Snowflake или аналогичных аналитических БД
• Практический опыт Spark/Databricks
• Опыт ML/AI-подсистем и эмбеддингов
• Знакомство с семантическим сопоставлением (fuzzy) и векторными методами
• Готовность осваивать новые техники семантического сопоставления
• Приветствуется Airflow, Elasticsearch/OpenSearch, Kubernetes и крупномасштабные пайплайны

Responsibilities

• Разрабатывать и улучшать алгоритмы сопоставления сущностей, кластеринга и дедупликации на больших данных
• Реализовывать распределённые подходы к сопоставлению, включая блокировочные стратегии и много-pass конвейеры
• Применять и сочетать rule-based, статистические и ML-аспектные методы, включая embeddings
• Оптимизировать генерацию кандидатов и ранжирование по точности, recalls, производительности и стоимости
• Переводить идеи в масштабируемые реализации на Spark и трансформации SQL
• Экспериментировать с подходами и улучшать их по метрикам производительности
• Разрабатывать и эксплуатировать крупную аналитическую систему, обрабатывающую сотни миллионов—миллиарды записей
• Строить и поддерживать сложные пайплайны Spark для сопоставления и дедупликации
• Создавать и поддерживать рабочие процессы с Airflow и DBT
• Обеспечивать устойчивость, наблюдаемость и экономичность в распределённых окружениях
• Разрабатывать аналитические SQL-модели в Snowflake или аналогах
• Оптимизировать крупные соединения, агрегации и оконные функции над большими данными
• Разрабатывать модели данных для пайплайнов сопоставления и потребителей
• Создавать валидационную логику и метрики для оценки точности партнёрства

Skills

Python

Distributed systems

Data pipelines

SQL

Spark/Databricks

ML/AI

Semantic matching

Airflow

Kubernetes

Tools

Snowflake

Databricks

Apache Spark

Airflow

DBT

Elasticsearch/OpenSearch

Kubernetes

Job description

Описание:

The client is a global management consultancy that partners with major organizations across industries to address complex business challenges through strategy, transformation, and performance improvement. Its European hub supports operations across the EMEA region.

Задачи:

• Design and improve entity matching, clustering, and deduplication algorithms at scale
• Implement distributed matching approaches, including blocking strategies, multi-pass matching pipelines, and nearest-neighbor and similarity-based methods
• Apply and combine rule-based, statistical, and ML-assisted techniques, including embeddings where relevant
• Optimize candidate generation and scoring to balance accuracy, recall, performance, and cost
• Translate algorithmic ideas into scalable implementations using Spark and SQL transformations
• Experiment with different approaches and iterate based on performance metrics and results
• Design, build, and operate a large-scale analytic system processing hundreds of millions to billions of records
• Implement and optimize Apache Spark pipelines for entity matching, deduplication, and clustering
• Build and maintain complex workflows using Airflow and DBT
• Ensure pipelines are fault-tolerant, observable, and cost-efficient in distributed environments
• Develop and maintain analytical SQL models using Snowflake or a similar cloud data warehouse
• Optimize large joins, aggregations, and window functions over very large datasets
• Design data models for matching pipelines and downstream consumers
• Build validation logic and metrics to measure match rate, precision, recall, and accuracy
• Support continuous improvements to the matching engine through iterative releases
• Debug and resolve data quality issues across heterogeneous and imperfect data sources

Требования:

• 5+ Years of software development using Python, ideally in a team lead capacity
• Solid understanding of distributed systems and algorithms, including partitioning, shuffles, joins, and scalability trade-offs
• Experience building and working with complex data pipelines or data systems
• Strong SQL skills, ideally with Snowflake or similar analytical databases
• Strong hands-on production experience with Apache Spark and Databricks (PySpark or Scala)
• Experience with AI/ML-assisted systems, including embeddings, inference, and re-ranking
• Experience with or strong interest in fuzzy and semantic matching techniques, such as Levenshtein/edit distance, token-based similarity, BM25 or other lexical ranking methods, vector embeddings and cosine similarity, and approximate nearest-neighbor or vector search concepts
• Strong willingness to learn and apply advanced semantic matching techniques if not already experienced
• Будет плюсом: experience with Airflow or equivalent orchestration tools, entity resolution/deduplication/record linkage systems, search or retrieval systems such as Elasticsearch, OpenSearch, or vector databases, data pipelines at very large scale (100M+ records), data quality frameworks or validation automation or QA at scale, Kubernetes or containerized functions such as Azure Container Apps or AWS Fargate, serverless functions, Azure or other cloud platforms, GitHub Actions