Data Engineer - ML Pipelines & Data Hub (Remote)

Tripledot Studios Limited; Greater London; Hybrid; GBP 70,000 - 110,000; Full time

Benefits offered by this job

25 Days of paid holiday

£12 Daily lunch allowance when working

Regular quarterly on-site and off-site

Employee Assistance Program

Family-forming and fertility support

Life Assurance and Group Income Cover

Continuous professional development

Pension plan with 4% match

20 Days of remote working

Job summary

Tripledot Studios ищет инженера данных для разработки и эксплуатации пайплайнов данных в мобильных играх. Вы будете строить игровой event data hub и инжестировать данные из нескольких студий, обеспечивая качество и мониторинг пайплайнов.

Требуется опыт создания и эксплуатации пайплайнов, знания Kubernetes, Airflow, SQL и Spark, а также способность работать в команде и развиваться в партнёрской игровой среде. Гибридный формат работы, удалённая работа возможна.

Qualifications

• Опыт создания и эксплуатации конвейеров данных, включая ingest, подготовку, контроль качества, backfills и оркестрацию.
• Знание Kubernetes, Airflow, SQL и Spark.
• Практичный подход к выполнению работы, надёжность и последовательность в поддержке систем и работе с коллегами.
• Умение конструктивно сотрудничать с инженерами внутри команды и across студиями.
• Будет плюсом опыт в игровой индустрии, знание change data capture или стриминга, ML-воркфлоу, Kubeflow.

Responsibilities

• Помогать построить игровой hub событий и ingest данных из нескольких студий.
• Разрабатывать и оркестрировать ingestion, подготовку, контроль качества, backfills и пайплайны.
• Централизовать метаданные наборов данных и информацию о качестве с использованием инструментов вроде OpenMetadata.
• Улучшать мониторинг и оповещения, чтобы команды знали, когда пайплайны требуют внимания.
• Координировать изменения с инжнерам студий для согласования решений.
• Участвовать в продактионизации и мониторинге ML-пайплайнов и исправлять проблемы при смене ответственных.

Skills

Kubernetes

Airflow

SQL

Spark

Data pipelines

Data quality checks

Tools

OpenMetadata

Job description

Tripledot Studios ищет инженера данных для разработки и эксплуатации пайплайнов данных в мобильных играх. Вы будете строить игровой event data hub и инжестировать данные из нескольких студий, обеспечивая качество и мониторинг пайплайнов.

Требуется опыт создания и эксплуатации пайплайнов, знания Kubernetes, Airflow, SQL и Spark, а также способность работать в команде и развиваться в партнёрской игровой среде. Гибридный формат работы, удалённая работа возможна.