Инженер данных

SkillStaff; United States; Hybrid; USD 90,000 - 130,000; Full time

Benefits offered by this job

Удаленная работа

Гибкий график

Белая зарплата

Офис в Москве

Job summary

SkillStaff ищет специалиста по data engineering для подготовки данных и прототипирования ассистента. Ваша роль — выгрузка, очистка, нормализация и интеграция данных из разных источников, создание PoC и технических прототипов через API, SQL и файлы. Вы будете формировать golden dataset и тестировать качество контекста retrieval.

Опыт работы с DWH, Data Quality и LLM/RAG предпочтителен. Предлагаем удаленную работу или работу в офисе, гибкий график и возможность развиваться в крупном IT-проекте.

Qualifications

• 3+ года в data engineering/автоматизации/разработке аналитических решений.
• Уверенное знание Python и SQL, опыт обработки и преобразования данных.
• Опыт работы с API, JSON, ETL/ELT, интеграции различных источников данных.
• Умение быстро собирать PoC и прототипы для проверки технических и продуктовых гипотез.

Responsibilities

• Готовить данные и контекст для прототипирования ассистента: выгрузка, очистка и нормализация.
• Реализовывать прототипы получения данных через API, SQL, файловые источники, Каталог и другие системы.
• Подготавливать данные для RAG/retrieval, тестировать поиск и сопоставление сущностей.
• Автоматизировать тестирование ассистента: массовый прогон сценариев и фиксация ошибок.
• Формировать и автоматизировать метрики качества и регрессионные наборы для проверки изменений.

Skills

Python

SQL

APIs

JSON

ETL/ELT

DWH

Data Quality

LLM/RAG

Job description

Описание:

Описания нет

Задачи:

Готовить данные и корпоративный контекст для прототипирования ассистента: выгрузка, очистка, нормализация и объединение данных из различных источников. Собирать PoC и технические прототипы для проверки гипотез до передачи в промышленную IT-разработку. Реализовывать прототипы получения данных через API, SQL, файловые источники, Каталог и другие корпоративные системы. Подготавливать данные для RAG/retrieval, тестировать поиск, сопоставление сущностей и качество получаемого контекста. Совместно с бизнес- и data-аналитиками формировать golden dataset из реальных Discovery-кейсов и эталонных результатов. Автоматизировать тестирование ассистента: массовый прогон сценариев, сравнение фактического результата с эталонным, фиксация ошибок. Формировать и автоматизировать метрики качества: полнота требований, корректность найденных источников/сущностей, пропуски, hallucinations, качество retrieval. Формировать regression-набор и проверять, что изменения логики, prompts, RAG или модели не ухудшают ранее работающие сценарии. Анализировать результаты пилотов совместно с аналитиками и локализовывать причины ошибок: данные, retrieval, контекст, правила или реализация. Передавать в IT проверенные прототипы, алгоритмы обработки данных, результаты экспериментов и технические требования для промышленной реализации.

Требования:

3+ лет в data engineering/автоматизации/разработке аналитических решений. Уверенное знание Python и SQL, опыт обработки и преобразования данных. Опыт работы с API, JSON, ETL/ELT, интеграции различных источников данных. Умение быстро собирать PoC и прототипы для проверки технических и продуктовых гипотез. Понимание DWH, моделей данных, Data Quality, опыт работы с корпоративными данными. Понимание принципов LLM, RAG, retrieval, embedding. Опыт подготовки датасетов, автоматизации проверок и анализа результатов. Умение самостоятельно исследовать источники данных и находить способ технической реализации задачи.

Условия:

РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса. КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке. РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами. КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!