Applied Scientist / MLOps Engineer обезличивания данных

NDA; United States; A distancia; USD 120.000 - 190.000; Jornada completa

Descripción de la vacante

NDA ищет опытного ML-инженера для разработки и внедрения моделей обработки неструктурированных данных в production. Ваша задача — строить конвейеры обработки больших данных, обучать NER-модели и оптимизировать инференс на CPU.

Вы будете работать над архитектурой AI-продукта с нуля, внедрять пайплайны очистки и нормализации данных, а также развивать классификаторы для полей баз данных и распознавание персональных данных в текстах.

Formación

• Опыт разработки и внедрения ML-моделей в production от 3 лет
• Готовность возглавить направление, самостоятельно декомпозировать бизнес-задачи на технические и отвечать за результат
• Уверенное владение Python, pandas, numpy и scikit-learn
• Практический опыт работы с Hugging Face Transformers и/или SpaCy
• Опыт обучения NER-моделей
• Опыт построения конвейеров обработки неструктурированных данных и разработки признаков для табличных данных
• Опыт оптимизации инференса моделей для работы на CPU
• Опыт работы с большими объёмами данных, включая полное сканирование баз данных от нескольких ТБ
• Опыт развёртывания моделей через API с FastAPI и контейнеризации с Docker
• Владение MLflow и DVC, понимание процессов CI/CD
• Опыт настройки мониторинга качества моделей и организации автоматического переобучения
• Будет плюсом: опыт работы с классификаторами для профилирования данных

Responsabilidades

• Развивать классификатор данных для полей баз данных
• Обучать модель распознавать новые типы данных
• Повышать качество классификации и исправлять ошибки обнаружения
• Обучать модель работать со смешанными данными в колонках баз данных
• Оптимизировать модель для высокой скорости работы на CPU
• Разрабатывать архитектуру и обучать NER-модель для поиска персональных данных в неструктурированном тексте
• Обрабатывать файлы TXT, DOCX, PDF и логи, включая распознавание текста
• Реализовывать конвейеры очистки и нормализации шумных данных

Conocimientos

Python

pandas

numpy

scikit-learn

Hugging Face

SpaCy

NER

Feature engineering

data pipelines

Docker

FastAPI

MLflow

DVC

CI/CD

SQL

Herramientas

Docker

FastAPI

MLflow

DVC

Git

Descripción del empleo

Описание

Описания нет

Задачи

• Развивать классификатор данных для полей баз данных
• Обучать модель распознавать новые типы данных
• Повышать качество классификации и исправлять ошибки обнаружения
• Обучать модель работать со смешанными данными в колонках баз данных
• Оптимизировать модель для высокой скорости работы на CPU
• Разрабатывать архитектуру и обучать NER-модель для поиска персональных данных в неструктурированном тексте
• Обрабатывать файлы TXT, DOCX, PDF и логи, включая распознавание текста
• Реализовывать конвейеры очистки и нормализации шумных данных

Требования

• Опыт разработки и внедрения ML-моделей в production от 3 лет
• Опыт ведения полного цикла: от исследования и постановки задачи до мониторинга качества и настройки автоматического переобучения
• Готовность возглавить направление, самостоятельно декомпозировать бизнес-задачи на технические и отвечать за результат
• Уверенное владение Python, pandas, numpy и scikit-learn
• Глубокое понимание классических алгоритмов машинного обучения, умение интерпретировать результаты и подбирать гиперпараметры
• Практический опыт работы с Hugging Face Transformers и/или SpaCy
• Опыт обучения NER-моделей
• Опыт построения конвейеров обработки неструктурированных данных и разработки признаков для табличных данных
• Опыт оптимизации инференса моделей для работы на CPU
• Опыт работы с большими объёмами данных, включая полное сканирование баз данных от нескольких ТБ
• Опыт развёртывания моделей через API с FastAPI и контейнеризации с Docker
• Владение MLflow и DVC, понимание процессов CI/CD
• Опыт настройки мониторинга качества моделей и организации автоматического переобучения
• Будет плюсом: опыт работы с классификаторами для профилирования данных баз данных, распознавания специфических типов данных и защиты персональных данных, обезличивания данных или антифрод-систем

Условия

• Оформление по договору с ИП
• Долгосрочное сотрудничество
• Возможность влиять на архитектуру сложного AI-продукта с нуля
• Работа с задачами обработки больших данных объёмом от нескольких ТБ
• Современный стек без легаси