prompt-инженер

SimbirSoft; United States; Remote; USD 120,000 - 170,000; Full time

Benefits offered by this job

Гибкий график

Наставничество и сертификация за счет”

Участие в конференциях

Job summary

SimbirSoft ищет специалиста по работе с LLM и данным для разработки и тестирования решений на базе искусственного интеллекта. Вы будете прототипировать диалоги, настраивать промпты и архитектуру пайплайнов, участвовать в создании метрик и валидных примеров, а также анализировать логи продакшена.

Требуется опыт решения бизнес‑задач с LLM, знание Python, SQL, Jupyter, pandas и OpenAI API. Офисы в РФ, гибкий график, развитие и участие в конференциях за счет компании.

Qualifications

• Опыт решения реальных бизнес‑задач с использованием LLM от 1 года.
• Хорошее знание Python и опыт работы с Jupyter, pandas и matplotlib.
• Опыт работы с SQL и данными, умение собирать наборы данных и проводить аналитику.
• Опыт работы с OpenAI API и аналогами.
• Навыки тестирования и регрессионной проверки промптов, понимание методов оценки LLM‑систем.

Responsibilities

• Прототипировать и тестировать решения на базе LLM, управлять их качеством.
• Настраивать поведение моделей без дообучения: промпты, контекст, параметры моделей.
• Участвовать с продактами в разработке диалоговых сценариев.
• Оценивать качество LLM‑решений на всех этапах: наборы примеров, валидационные наборы, метрики.

Skills

Python

SQL

LLM

Data Analysis

AB-тестирование

Tools

Jupyter

pandas

matplotlib

OpenAI API

Job description

Описание: В SimbirSoft более 1500 разработчиков ежедневно решают задачи, которые делают жизнь миллионов пользователей комфортнее.

Задачи

• Прототипировать и тестировать решения на базе LLM, управлять их качеством
• Настраивать поведение моделей без дообучения: экспериментировать с промптами, контекстом, параметрами моделей и архитектурой LLM-пайплайнов
• Участвовать вместе с продактами в разработке диалоговых сценариев
• Оценивать качество LLM-решений на всех этапах: собирать и обновлять наборы примеров и валидационные выборки, создавать метрики и тесты, настраивать оценку с помощью LLM
• Разрабатывать инструкции для разметчиков и участвовать в разметке, в том числе самостоятельно размечать наборы примеров
• Анализировать логи, трассировки и отзывы о работе ассистентов в продакшене и улучшать их качество на основе полученных данных
• Интегрировать LLM в продукты вместе с разработчиками

Требования

• Опыт решения реальных бизнес-задач с использованием LLM от 1 года
• Хорошее знание Python и опыт работы с Jupyter, pandas и matplotlib
• Опыт работы с SQL и данными, умение собирать наборы данных и проводить аналитику
• Опыт работы с OpenAI API и аналогами
• Навыки тестирования и регрессионной проверки промптов, понимание методов оценки LLM-систем: метрик, оценки людьми, оценки с помощью LLM и A/B-тестирования
• Будет плюсом: опыт автоматической оптимизации промптов, организации разметки и автоматизации оценок, работы с инструментами валидации и наблюдением, фреймворками для оркестрации LLM, агентными системами и RAG

Условия

• Гибкий график
• Возможность работать над проектами разных отраслей и пробовать новые технологии
• Просторные офисы с зонами для совместной работы
• Наставничество, сертификация за счёт компании, участие в конференциях и изучение английского языка
• Внутренние и внешние встречи для обмена опытом, хакатоны и доклады по развитию профессиональных и личных навыков
• Более 50 клубов по интересам и профессиональных сообществ
• Корпоративная база знаний и социальная сеть для общения с сотрудниками