ML engineer в NLP

Adviva; United States; Remote; USD 120,000 - 190,000; Full time

Job summary

Adviva ищет специалиста по NLP/LLM для разработки и улучшения решений на базе современных моделей. Ваша работа будет охватывать задачи классификации, скоринга, extraction и анализ текстов, а также эксперименты с multic-modal и multilingual данными.

Нужны сильные навыки Python и SQL, опыт работы с Hugging Face, Open-source LLM, Airflow, Docker, ClickHouse и S3-хранилищами. Работа полностью удалённая из любой точки мира; конкурентная зарплата и возможность роста.

Qualifications

• Хорошее знание Python.
• Уверенное знание SQL.
• Практический опыт работы с LLM/NLP.
• Практический опыт работы с VLM/multimodal моделями.
• Понимание принципов Transformer-моделей.
• Опыт работы с open-source LLM: Qwen, Llama, Mistral или аналоги.
• Опыт работы с Hugging Face/Transformers.
• Понимание подходов к prompt engineering.
• Умение строить качественные validation datasets и проводить error analysis.
• Опыт работы с классическими NLP-задачами: classification, embeddings, information extraction.
• Опыт работы с Airflow и построения production ML/data pipelines.
• Опыт работы с ClickHouse.
• Опыт работы с S3-совместимыми хранилищами.
• Умение исследовать данные и превращать исследовательский код в production.

Responsibilities

• Разрабатывать и улучшать решения на базе LLM и NLP-моделей.
• Решать задачи классификации, скоринга, extraction и анализа текстовых данных.
• Работать с LLM-as-a-judge.
• Работать с многоязычными данными, в том числе низкоресурсными языками.
• Разрабатывать пайплайны обработки и анализа больших объёмов текстовых данных.
• Формировать и поддерживать validation / evaluation datasets для LLM-моделей.
• Разрабатывать методологию оценки качества LLM: метрики, пороги, error analysis, post-hoc проверки.
• Работать с prompt engineering и системными промптами.
• Оптимизировать inference: batching, quantization, использование GPU-ресурсов.
• Интегрировать модели в production-пайплайны.
• Поддерживать уже работающие модели: мониторинг качества, поиск деградаций и разбор ошибок.
• Работать с неструктурированными данными: тексты, web-контент, OCR.
• Проводить эксперименты и доводить успешные исследования до стабильного production-решения.

Skills

Python

SQL

LLM/NLP

VLM/Multimodal

Transformers

Open-source LLMs

Hugging Face/Transformers

Prompt engineering

Validation datasets

Error analysis

Airflow

ClickHouse

S3 storage

Linux basics

Git

Docker

GPU inference

Tools

Airflow

ClickHouse

S3 storage

Docker

Slurm

PyTorch

Job description

Описание:

Описания нет

Задачи:

Разрабатывать и улучшать решения на базе LLM и NLP-моделей. Решать задачи классификации, скоринга, extraction и анализа текстовых данных. Работать с LLM-as-a-judge. Работать с многоязычными данными, в том числе низкоресурсными языками. Разрабатывать пайплайны обработки и анализа больших объёмов текстовых данных. Формировать и поддерживать validation / evaluation datasets для LLM-моделей. Разрабатывать методологию оценки качества LLM: метрики, пороги, error analysis, post-hoc проверки. Работать с prompt engineering и системными промптами, уменьшать количество false positive / false negative срабатываний. Оптимизировать inference: batching, quantization, использование GPU-ресурсов и скорость обработки. Интегрировать модели в production-пайплайны. Поддерживать уже работающие модели: мониторинг качества, поиск деградаций и разбор ошибок. Работать с неструктурированными данными: текстами, web-контентом, OCR и результатами анализа изображений. Проводить эксперименты и доводить успешные исследования до стабильного production-решения.

Требования:

Хорошее знание Python. Уверенное знание SQL. Практический опыт работы с LLM / NLP. Практический опыт работы с VLM / multimodal-моделями. Понимание принципов работы Transformer-моделей. Опыт работы с open-source LLM: Qwen, Llama, Mistral или аналогами. Опыт работы с Hugging Face / Transformers. Понимание подходов к prompt engineering. Умение строить качественные validation datasets и проводить error analysis. Понимание того, почему одной accuracy недостаточно для оценки LLM-систем. Опыт работы с классическими NLP-задачами: classification, embeddings, similarity, information extraction. Опыт работы с Airflow и построения production ML/data pipelines. Опыт работы с ClickHouse. Опыт работы с S3-совместимыми хранилищами. Умение самостоятельно проводить исследование: от постановки гипотезы и анализа данных до работающего прототипа. Способность превращать исследовательский код в воспроизводимое production-решение. Git и базовые навыки работы с Linux. Будет плюсом: Опыт работы с vLLM; Опыт quantization моделей: 4-bit / 8-bit; Опыт работы с PyTorch; Опыт работы с embedding-моделями и RAG; Опыт построения LLM evaluation framework; Опыт работы с multilingual NLP; Опыт fine-tuning / LoRA / PEFT; Опыт работы с OCR; Опыт работы с Docker; Опыт работы со Slurm; Опыт использования GPU-инфраструктуры и понимание особенностей inference больших моделей

Условия:

Полностью удаленный формат работы из любой точки мира; Стабильная заработная плата; Работа в международной команде классных специалистов; Возможности расти и прокачивать экспертизу.