программист DWH платформы интеграции данных

SM Lab; United States; Remote; USD 110,000 - 170,000; Full time

Benefits offered by this job

ДМС

Спорт

Мобильная связь

Обучение

BestBenefits

Техника

Job summary

SM Lab ищет инженера по данным для разработки и поддержки механизмов загрузки данных, архитектуры staging в Oracle и дельта-выгрузок. Роль требует навыков SQL/PL-SQL, Python и работы с реляционными БД, предпочтительно Oracle 19c/12c.

Задачи включают настройку коннекторов Kafka Connect, оптимизацию сложных запросов и участие в архитектурном проектировании для масштабирования решений. Гибкий график, пакет льгот и обучение предлагают внутри компании.

Qualifications

• Знание SQL и PL/SQL.
• Опыт работы с Python и Overflow.
• Опыт работы с реляционными СУБД, предпочтительно Oracle 19c или 12c.
• Умение читать ER-диаграммы.
• Будет плюсом: знание BI-технологий, веб-разработка на JavaScript/HTML5, Kafka и Apache Airflow, опыт разработки с ИИ-агентами, навыки проектирования БД и хранилищ данных.

Responsibilities

• Разрабатывать и развивать механизмы загрузки данных из CDC, S3, REST и Oracle.
• Проектировать и поддерживать структуры хранения слоя staging в Oracle, включая партиционирование, сжатие и индексы.
• Реализовывать логику выделения инкрементов и формирования начальных и дельта-выгрузок для потребителей.
• Поддерживать контракты передачи данных и управлять изменениями схем источников с помощью преобразований на стороне платформы.
• Настраивать коннекторы Kafka Connect.
• Оптимизировать производительность тяжёлых запросов, PL/SQL, параллелизма и работы с большими объёмами данных.
• Участвовать в проектировании архитектуры: подключать новые источники и потребителей, масштабировать и стандартизировать решение.

Skills

SQL

PL/SQL

Python

Overflow

Kafka

Apache Airflow

Tools

Oracle 19c/12c

Job description

Описание

Команда развивает платформу интеграции данных Data Integration Hub. Она собирает информацию из производственных систем, хранит исторические данные, преобразует их и передаёт потребителям. Решение изолирует производственные системы от массовых асинхронных запросов и помогает организовывать инкрементальные выгрузки данных.

Задачи

• Разрабатывать и развивать механизмы загрузки данных из источников CDC, S3, REST и Oracle
• Проектировать и поддерживать структуры хранения слоя staging в Oracle, включая партиционирование, сжатие и индексы
• Реализовывать логику выделения инкрементов и формирования начальных и дельта-выгрузок для потребителей
• Поддерживать контракты передачи данных и управлять изменениями схем источников с помощью преобразований на стороне платформы
• Настраивать коннекторы Kafka Connect
• Оптимизировать производительность тяжёлых запросов, PL/SQL, параллелизма и работы с большими объёмами данных
• Участвовать в проектировании архитектуры: подключать новые источники и потребителей, масштабировать и стандартизировать решение

Требования

• Знание SQL и PL/SQL
• Опыт работы с Python и Overflow
• Опыт работы с реляционными СУБД, предпочтительно Oracle 19c или 12c
• Умение читать ER-диаграммы
• Будет плюсом: знание технологий Business Intelligence, коммерческий опыт разработки веб-приложений на JavaScript и HTML5, опыт работы с Kafka и Apache Airflow, опыт разработки с ИИ-агентами, навыки проектирования баз данных и хранилищ данных

Условия

Гибкий график: с 8 до 17, с 9 до 18 или с 10 до 19 Участие в проекте кафетерия льгот: ДМС, спорт, мобильная связь, обучение Полугодовые премии Корпоративные скидки до 30% на товары Спортмастер, Ostin, Funday и Demix Внутреннее и внешнее обучение, конференции Сервис персонализированных скидок и привилегий BestBenefits Предоставляют технику