Real-Time Data Ingestion Engineer for Education Platform

Enfint; Barcelona; Presencial; EUR 75.000 - 120.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Lessons for Preply lessons

Learning & Development budget

Time off for self-development

Relocation package to Barcelona hub

Competitive financial package with eqh

Health insurance

Gym access

Descripción de la vacante

Preply ищет инженера по данным в Barcelona Hub для построения и владения инфраструктурой ingestion и data lake. Вы будете разрабатывать масштабируемые пакетные и стриминговые пайплайны, проектировать слои данных и контракты, внедрять проверки качества и мониторы для надежной аналитики и ML.

Требуется опыт создания высоконагруженных систем, знание облачных платформ (AWS/GCP), опыт работы в DevOps, а также английский на уровне не ниже B2+.

Formación

• Опыт разработки архитектурных паттернов для больших прoизводительных систем.

Responsabilidades

• Построение и владение темой data lake и инфраструктурой ingestion
• Разработка и эксплуатация масштабируемых пакетных и потоковых пайплайнов
• Проектирование уровней данных с явной ответственностью, lineage и retention
• Определение контрактов данных: схемы, свежесть, объем, качество
• Внедрение в ingestion lifecycle проверок качества и аномалий
• Стандартизация метрик качества и их доступность
• Сбор enrichment-логики для унификации данных
• Поддержка history, point-in-time и версионирования наборов
• Инструментация пайплайнов метриками свежести и задержки
• Участие в SLOs, alerting и playbooks инцидентов
• Обеспечение доступа, приватности и минимизации данных на входе
• Разработка шаблонов ingestion, библиотек и инструментов платформы
• Повышение discoverability наборов данных и документации
• Сотрудничество с Product, Backend, Analytics и ML по ingestion-требованиям
• Приверженность качеству данных и стандартам платформы

Conocimientos

Data architecture

Data pipelines

Cloud platforms

DevOps practices

Real-time processing

Cross-functional collaboration

English B2+

Herramientas

Spark

Flink

Kafka

Airflow

dbt

Descripción del empleo

Preply ищет инженера по данным в Barcelona Hub для построения и владения инфраструктурой ingestion и data lake. Вы будете разрабатывать масштабируемые пакетные и стриминговые пайплайны, проектировать слои данных и контракты, внедрять проверки качества и мониторы для надежной аналитики и ML.

Требуется опыт создания высоконагруженных систем, знание облачных платформ (AWS/GCP), опыт работы в DevOps, а также английский на уровне не ниже B2+.