data engineer интеграций метаданных

NDA; United States; Remoto; USD 35.000 - 38.000; Tempo pieno

Descrizione del lavoro

NDA ищет специалиста по интеграциям на Python для реализации и поддержки проектов, разработки кастомных коннекторов и скриптов миграции метаданных.

Вы будете автоматизировать процессы через SDK, настраивать пайплайны в Airflow и работать с OpenMetadata Source→Sink архитектурой, SQL и AI-инструментами.

Competenze

• 3+ лет коммерческой разработки интеграций на Python
• Уверенное знание Python, включая Pydantic, классы и генераторы
• Понимание архитектуры Source → Sink в OpenMetadata
• Опыт работы с Airflow и SQL
• Знание AI-инструментов для скаффолдинга коннекторов
• Высшее IT-образование в приоритете
• Будет плюсом: практический опыт с Kafka или RabbitMQ в production, gRPC / Protobuf и Redis, Docker, Kubernetes, CI/CD и observability

Mansioni

• Реализовывать интеграции на проекте
• Разрабатывать кастомные коннекторы и скрипты миграции метаданных
• Автоматизировать процессы через SDK
• Настраивать и оркестрировать пайплайны в Airflow

Conoscenze

Python

Pydantic

Generators

Airflow

SQL

OpenMetadata

AI-инструменты

Kafka

Formazione

Высшее IT-образование

Strumenti

Airflow

Kafka

RabbitMQ

Redis

Docker

Kubernetes

Protobuf

gRPC

CI/CD

Observability

Descrizione del lavoro

Описание

Описания нет

Задачи

• Реализовывать интеграции на проекте
• Разрабатывать кастомные коннекторы и скрипты миграции метаданных
• Автоматизировать процессы через SDK
• Настраивать и оркестрировать пайплайны в Airflow

Требования

• От 3 лет коммерческой разработки интеграций на Python
• Уверенное знание Python, включая Pydantic, классы и генераторы
• Понимание архитектуры Source → Sink в OpenMetadata
• Опыт работы с Airflow и SQL
• Знание AI-инструментов для скаффолдинга коннекторов
• Высшее IT-образование в приоритете
• Будет плюсом: практический опыт с Kafka или RabbitMQ в production, gRPC / Protobuf и Redis, Docker, Kubernetes, CI/CD и observability

Условия

Ставка: 260000 — 280000 рублей

Локация: строго РФ