Part-Time Data Engineer: Unstructured Data & AI Pipelines

HireHi

United States

Remote

USD 60,000 - 90,000

Part time

3 days ago

Be an early applicant

Application generator

An application made for this job — a tailored resume and cover letter that speak straight to the posting.

Get past ATS filters

Job summary

HireHi ищет опытного инженера по данным для создания приватного контекстного слоя над данными европейской группы, с возможностями обработки неструктурированных источников и интеграцией API. Роль предполагает работу над инжекторингом данных, пайплайнами, обеспечения аудита и безопасности, а также совместную работу в небольшой гибридной команде на part-time.

Кандидат должен владеть Python, SQL, Airflow и опытом работы с крупными API, приватности и GDPR, с упором на качественную Retrieval-augmented

Qualifications

4+ года в data engineering, работа с неструктурированными данными.
Опыт интеграции нескольких API и исторической подкачки данных.
Работа с чувствительными данными в регулируемой среде.
Умение работать как единственный data engineer в маленькой команде.

Responsibilities

Настройка ingestion через call, email, Slack и мессенджеры с атрибуцией источника и откатом.
Backfill исторических данных (email, Slack, протоколы, презентации и портфели).
Разработка парсинга документов (PDF, сканы, таблицы, презентации).
Реализация идентификации и выравнивания сущностей между инструментами и CRM.
Построение конвейеров chunking/embeddings и загрузка в графовую/векторную базу.
Обеспечение инкрементной синхронизации без повторной crawl-обработки.
Добавление области доступа и происхождения к каждой записи.
Осуществление PII-декларирования, редактирования и retention логики.
Оркестрация пайплайнов через Airflow/Step Functions и мониторинг источников.
Контроль расходов и задержек через батчинг и хранение.
Подготовка runbooks для handover.