Data engineer for real-time video applications

Remobi LTD.; United States; Remote; USD 140,000 - 180,000; Full time

Job summary

Remobi LTD. ищет Senior Data Engineer для глобального проекта по обработке реальных данных с камер на европейском заводе. Вы будете проектировать и поддерживать конвейеры в реальном времени, работать с неструктурированными данными, включая видео, и обеспечивать мгновенную аналитику.

Роль требует инфраструктуры как кода через AWS CDK, оптимизации Snowflake и Aurora, сотрудничества с командой разработки на Python и умения разъяснять технические решения ненашелникам.

Qualifications

• Требуется подтвержденный опыт работы старшим инженером данных на сложных трансформационных проектах.
• Опыт работы с неструктурированными данными, особенно видео.
• Умение объяснять технические концепции неспециалистам.

Responsibilities

• Разрабатывать и поддерживать масштабируемые конвейеры для реального времени.
• Обрабатывать неструктурированные данные, особенно видео и изображения.
• Настраивать инфраструктуру через код с AWS CDK.
• Оптимизировать хранение в Snowflake и Aurora.
• Сотрудничать с командой разработки по интеграции Python-бэкэнда.

Skills

Senior Data Engineer

Real-time / streaming data

AWS

Python

Video processing

Tools

AWS CDK

Snowflake

Aurora

Job description

Описание:

Our client, a global leader in energy technology, is launching a high-visibility initiative to build real-time applications on live data from one of its European factories. Cameras on the factory floor detect objects, and the applications must process this unstructured video and image data and respond instantly. The first release is due within 3 to 4 months, with the longer-term aim of scaling the solution to other sites. You will join once the Product Manager and Solution Architect are in place.

Задачи:

• Design, build and maintain scalable pipelines for real-time ingestion, transformation and analysis
• Process unstructured data at speed, especially video and images
• Build and maintain infrastructure as code with AWS CDK
• Implement and optimise storage in Snowflake and Aurora
• Work with the development team on Python backend integration
• Apply best practice in data modelling and data quality
• Monitor and troubleshoot pipelines to maintain availability and performance

Требования:

• Proven Senior Data Engineer experience on complex transformation projects
• Hands-on work with unstructured data, ideally video
• Strong AWS skills, with hands-on AWS CDK
• Extensive Snowflake and Aurora experience
• Solid Python backend development
• Clear communicator who can explain technical concepts to non-technical stakeholders
• Будет плюсом: Real-time or streaming experience; Computer vision; Agile methodologies

Условия:

Fully remote (European Union) ASAP Until end of September 2027 (with possibility to extend)