Senior AI Data Engineer for Clinical Trials & RAG Pipelines

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

EPAM ищет инженера по данным для поддержки AI/GenAI в области Risk-Based Quality Management в клинических исследованиях. Ваша задача — строить RAG пайплайны, управлять векторными базами данными на AWS и разворачивать ETL/ELT-обработку неструктурированных клин. данных.

Требуется 5+ лет опыта, владение Python, SQL, Spark SQL и опытом работы с AWS OpenSearch, S3 и другими сервисами. Рассматриваются кандидаты с опытом в биофарме и навыками CI/CD; знание английского не ниже B2+ обязательно.

Qualifications

• 5+ лет опыта масштабной инженерии данных
• Эксперт в RAG-пайплайнах загрузки документов, включая чанкинг, встраивания и векторное индексирование
• Опыт использования AWS OpenSearch в качестве векторной базы данных для RAG-воркфлоу
• Продвинутый уровень Python, включая SQL и Spark SQL
• Опыт трансформации неструктурированных данных (PDF, DOCX) для RAG/LLM
• Знание AWS-сервисов: S3, Lambda, Glue, Athena, Bedrock, Step Functions, API Gateway, CloudWatch, DynamoDB
• Знакомство с Docker
• Уровень владения английским не ниже B2+
• Желательно: биофарм/лабораторные данные, Snowflake, Pinecone, SageMaker processing, CI/CD (Jenkins, Git/Bitbucket), CDK/Terraform, стандарты клин. данных CDISC/ADaM/SDTM

Responsibilities

• Спроектировать и построить RAG-пайплайны для загрузки документов по клинико-исследовательским данным
• Управлять векторными базами данных в AWS OpenSearch для RAG-воркфлоу
• Разрабатывать пакетные и стримовые ETL/ELT-пайплайны для неструктурированных данных
• Разрабатывать и экспонировать API данных для потребления AI-приложениями
• Оптимизировать стратегии чанкинга, генерацию встраиваний и производительность поиска
• Обеспечивать качество данных, трассируемость и управление данными для AI/ML
• Развертывать и поддерживать AWS-инфраструктуру данных
• Сотрудничать с Data Scientists и Backend-разработчиками в рамках единой команды

Skills

Python

SQL

Spark SQL

RAG/LLM pipelines

Data pipelines

Tools

AWS OpenSearch

S3

Lambda

Glue

Athena

Bedrock

Step Functions

API Gateway

CloudWatch

DynamoDB

Docker

Job description

EPAM ищет инженера по данным для поддержки AI/GenAI в области Risk-Based Quality Management в клинических исследованиях. Ваша задача — строить RAG пайплайны, управлять векторными базами данными на AWS и разворачивать ETL/ELT-обработку неструктурированных клин. данных.

Требуется 5+ лет опыта, владение Python, SQL, Spark SQL и опытом работы с AWS OpenSearch, S3 и другими сервисами. Рассматриваются кандидаты с опытом в биофарме и навыками CI/CD; знание английского не ниже B2+ обязательно.