data/lineage engineer in-silico drug discovery

evrone.ru; United States; Remote; USD 120,000 - 170,000; Full time

Benefits offered by this job

Remote work

Гибкий график

Mentoring & growth

Job summary

Evrone ищет Senior Data/Lineage инженера для проекта в домене MedTech. Работа удаленная на полный рабочий день, с гибким графиком и возможностями для международной коллаборации.

Ваша роль — формирование устойчивого контура идентичности данных, родословной, схем данных и артефактов в системе in-silico drug discovery. Требования включают уверенное владение Python, SQL и PostgreSQL, опыт создания пайплайнов и работы с контрактами данных.

Qualifications

• Уверенное владение Python и SQL; опыт работы с PostgreSQL.
• Опыт построения пайплайнов и lineage-архитектур.
• Понимание контрактов данных и схем эволюции.

Responsibilities

• Разобрать источники данных, теги lineage и выходные схемы.
• Сформировать и задокументировать правила идентичности сущностей.
• Версионировать output_schema и экспортеры для аналитических пакетчиков.
• Настроить аудит артефактов и provenance между стадиями через OpenLineage.
• Согласовать схемы через JSON Schema и YAML handoff; обучить команду.

Skills

Python

SQL

PostgreSQL

Data lineage

OpenLineage

Tools

OpenLineage

Marquez/DataHub

MinIO/S3

Job description

Описание

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Ищем Data/Lineage инженера уровня Senior. Проект в домене MedTech, формирование устойчивого контура идентичности, схем данных, происхождения и хранения артефактов в платформе in-silico drug discovery.

Задачи

Разобрать текущие источники данных, lineage-теги, выходные схемы и сценарии, где успешный статус задачи не гарантирует наличие скачиваемого файла Зафиксировать правила идентичности сущностей. На текущем этапе — дисциплина тегов при enqueue; целевой контур — compound registry с соответствием `InChIKey internal id` Версионировать `output_schema` и extractors для Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD Обеспечить читаемость старых артефактов после появления новых версий схем Настроить происхождение между стадиями в формате OpenLineage `START / COMPLETE / FAIL` или эквиваленте Реализовать audit exporter без создания второго журнала статусов рядом с оркестратором Ввести QC артефактов. Объект в MinIO/S3 должен скачиваться и парситься; `completed` без файла должен завершаться явной ошибкой Перевести downstream-получение входов на идентификаторы и `s3://`, исключив зависимость от локальных путей Согласовать контракты схем через JSON Schema и YAML handoff, а также glossary научных метрик совместно с backend и R&D Закрепить инварианты автоматизированными тестами и передать документацию внутренней команде

Требования

Уверенный Python SQL и PostgreSQL, включая миграции и понимание Row-Level Security Опыт построения пайплайнов, где объектное хранилище является source of truth Практический опыт data contracts, schema evolution и lineage Работа с файловыми и бинарными артефактами, а не только с таблицами DWH Опыт проектирования устойчивой идентичности сущностей независимо от оркестратора Умение фиксировать инварианты тестами и передавать решение внутренней команде Будет плюсом: Понимание семантики OpenLineage, Marquez или DataHub без привязки решения к конкретному бренду; Опыт MLOps или научных пайплайнов с артефактами: ClearML, MLflow, Flyte, Nextflow или Airflow; RDKit, SDF и Parquet, JSON Schema; Опыт on-prem или air-gap окружений

Условия

• Заработная плата зависит от уровня и определяется после прохождения технического собеседования
• Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой
• Качественный онбординг и hr-менеджмент (1:1, Grow Review)
• По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков
• Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе
• Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии
• Наши разработчики работают только над одним проектом. Без постоянных переключений между ними
• Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone
• Повышение зарплаты по мере роста компетенций (по результатам ассесмента)
• Премии за привлечение новых сотрудников и новых клиентов
• Дополнительная премия за выступления на конференциях и митапах
• Проведение интервью оплачивается
• Проводим митапы. Вы можете быть как и слушателем, так и спикером
• У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник
• Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge
• Есть внутренняя библиотека с электронными книгами и записанными курсами
• Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский
• Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили
• Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах