NLP data scientist for LLM

Точка; United States; Remote; USD 3,900 - 6,600; Full time

Benefits offered by this job

ДМС со стоматологией

4 дополнительных выходных в год

Бесплатное обучение за счёт компании

Гибкий график

Корпоративные мероприятия

Job summary

Точка в поиске Data Scientist с фокусом на LLM для банковской экосистемы. Ваша работа будет включать взаимодействие с бизнес-заказчиками и продуктовыми командами, формулировку гипотез и метрик, проектирование архитектуры LLM-агентов и MVP, доведение решений до продакшена и активное тестирование промптов.

Опыт 3+ лет в NLP/LLM обязателен. Гибкий график, оффисы в городах присутствия и удалёнка как часть условий.

Qualifications

• Есть опыт проектирования и реализации сервисов с использованием NLP и LLM от 3 лет.
• Умеешь проектировать промпты для сложных сценариев и работать с системными инструкциями и контекстами.
• Понимаешь особенности разных LLM и их ограничений, latency и стоимости.
• Опыт end-to-end разработки LLM-сервисов (прототип, API, мониторинг, продакшен).
• Умеешь работать с Git, ветками и merge реквестами; Docker-проекты приветствуются.

Responsibilities

• Взаимодействовать с бизнес-заказчиками и продукт team: формулировать гипотезы и метрики.
• Проектировать архитектуру LLM-агентов и сервисов, развивать MVP и выводить в продакшен.
• Работать с промптами, тестировать и улучшать качество ответов.
• Интегрировать LLM в продукты с учётом ограничений, стоимости и API.
• Использовать function calling, tool calling и structured output.
• Разрабатывать агентные пайплайны и LangGraph; проектировать RAG-пайплайны.
• Контроль качества, анализ ошибок и улучшение моделей.

Skills

NLP/LLM опыт

Prompt-инжиниринг

LangGraph

Git

Docker

FastAPI

Tools

FastAPI

Streamlit

Docker

Git

Job description

Описание:

Ищем Data Scientist с фокусом на LLM в Точка Банк. Мы создаём онлайн-банк и экосистему сервисов для бизнеса. В нашей команде больше 6 000 сотрудников, а сервисами пользуются пользуются более 800 000 клиентов.

Задачи:

Взаимодействовать с бизнес-заказчиками и продуктовыми командами: разбирать задачи, формулировать и валидировать гипотезы, определять метрики успеха. Проектировать архитектуру LLM-агентов и сервисов, разрабатывать MVP и доводить решения до продакшена. Много работать с промптами: проектировать системные и пользовательские инструкции, создавать prompt chains, управлять контекстом, тестировать и улучшать качество ответов. Интегрировать разные LLM в продукты с учётом их возможностей, ограничений, стоимости, скорости работы и особенностей API. Использовать function calling, tool calling, structured output и другие механизмы взаимодействия LLM с внешними системами. Разрабатывать агентные пайплайны и управлять их состоянием с помощью LangGraph. Проектировать RAG-пайплайны: подготавливать и индексировать данные, настраивать поиск и формирование контекста для модели. Создавать системы оценки и мониторинга качества LLM-решений, анализировать ошибки и находить способы их устранения. Считать технические метрики для отдельных этапов пайплайна и бизнес-метрики продукта. Взаимодействовать с backend-разработчиками, аналитиками, продуктовыми менеджерами и другими участниками команды.

Требования:

Есть опыт проектирования и реализации сервисов с использованием NLP и LLM от 3 лет. Умеешь проектировать промпты для сложных сценариев: работать с системными инструкциями, few-shot-примерами, контекстом, форматами ответа и цепочками вызовов. Понимаешь особенности разных LLM: знаешь их сильные стороны, ограничения, контекстные окна, особенности следования инструкциям и типичные причины нестабильных ответов. Умеешь выбирать модель под задачу с учётом качества, latency, стоимости и требований к инфраструктуре. Есть опыт использования function calling или tool calling для интеграции LLM с внешними API и внутренними сервисами. Есть опыт работы со structured output: умеешь получать от модели данные по заданной схеме, валидировать ответы и обрабатывать ошибки генерации. Умеешь разрабатывать агентные системы и пайплайны на LangGraph. Есть опыт end-to-end-разработки LLM-сервисов — от прототипа и подготовки данных до API, мониторинга и запуска в продакшен. Есть опыт разработки сервисов на FastAPI или Streamlit. Умеешь работать с Git: создаёшь ветки, оформляешь merge‑реквесты и понимаешь, почему большие файлы и модели не стоит хранить в репозитории. Умеешь работать с Docker. Будет плюсом: Опыт разработки RAG-систем и понимание подходов к разбиению документов, построению эмбеддингов, retrieval и reranking; Опыт создания evaluation‑пайплайнов для LLM, в том числе с использованием LLM‑as‑a‑Judge; Понимание принципов A/B‑тестирования и опыт оценки влияния ML‑решений на продуктовые метрики; Опыт работы с observability‑инструментами для LLM‑приложений: трассировкой вызовов, анализом токенов, latency и ошибок; Опыт обучения или дообучения нейросетей на нескольких GPU с использованием DDP или FSDP; Опыт работы с разными фреймворками для создания LLM‑приложений и агентов

Условия:

Официальная зарплата до 550 000 ₽. Точная сумма зависит от твоих навыков и ожиданий - обсудим их на собеседовании. Это сумма до вычета налогов. Помни, что с 2025 года ставка НДФЛ меняется в зависимости от суммарного дохода за год. Пятидневная рабочая неделя с гибким началом и окончанием дня. Удалёнка или любой офис в городах присутствия. Наши офисы — это продуманные опенспейсы с комфортными рабочими местами и зонами отдыха. Ты можешь самостоятельно выбрать, где работать - ходить в офис необязательно. Понятная система развития и роста по грейдам. Возможность работать по‑своему. Никто не будет навязывать свои методы. Делаем так, чтобы каждый был услышан и мог влиять. Необходимая техника. Бесплатное обучение: ты сможешь ездить на IT‑конференции, митапы и хакатоны и проходить курсы за счёт компании. А ещё пользоваться нашей библиотекой и платформой с онлайн‑курсами. Комфорт не только в работе, но и в жизни. После испытательного срока: ДМС со стоматологией и 4 дополнительных выходных в год. Онлайн‑кабинет сотрудника, где ты можешь заказать справку, поставить отпуск или отгул, заказать технику или посмотреть выплаты. Активная корпоративная жизнь: устраиваем кинопоказы, спортивные марафоны и корпоративы, которые потом ещё долго вспоминают.