data engineer

Tripledot Studios Limited; Greater London; Hybrid; GBP 70,000 - 110,000; Full time

Benefits offered by this job

25 Days of paid holiday

£12 Daily lunch allowance when working

Regular quarterly on-site and off-site

Employee Assistance Program

Family-forming and fertility support

Life Assurance and Group Income Cover

Continuous professional development

Pension plan with 4% match

20 Days of remote working

Job summary

Tripledot Studios ищет инженера данных для разработки и эксплуатации пайплайнов данных в мобильных играх. Вы будете строить игровой event data hub и инжестировать данные из нескольких студий, обеспечивая качество и мониторинг пайплайнов.

Требуется опыт создания и эксплуатации пайплайнов, знания Kubernetes, Airflow, SQL и Spark, а также способность работать в команде и развиваться в партнёрской игровой среде. Гибридный формат работы, удалённая работа возможна.

Qualifications

• Опыт создания и эксплуатации конвейеров данных, включая ingest, подготовку, контроль качества, backfills и оркестрацию.
• Знание Kubernetes, Airflow, SQL и Spark.
• Практичный подход к выполнению работы, надёжность и последовательность в поддержке систем и работе с коллегами.
• Умение конструктивно сотрудничать с инженерами внутри команды и across студиями.
• Будет плюсом опыт в игровой индустрии, знание change data capture или стриминга, ML-воркфлоу, Kubeflow.

Responsibilities

• Помогать построить игровой hub событий и ingest данных из нескольких студий.
• Разрабатывать и оркестрировать ingestion, подготовку, контроль качества, backfills и пайплайны.
• Централизовать метаданные наборов данных и информацию о качестве с использованием инструментов вроде OpenMetadata.
• Улучшать мониторинг и оповещения, чтобы команды знали, когда пайплайны требуют внимания.
• Координировать изменения с инжнерам студий для согласования решений.
• Участвовать в продактионизации и мониторинге ML-пайплайнов и исправлять проблемы при смене ответственных.

Skills

Kubernetes

Airflow

SQL

Spark

Data pipelines

Data quality checks

Tools

OpenMetadata

Job description

Описание:

Tripledot Studios is an independent mobile games company with a portfolio of mobile games that reach top chart positions worldwide and engage over 25 million daily active users.

Задачи:

• Help build a game event data hub and ingest data from multiple studios
• Develop and orchestrate data ingestion, preparation, quality checks, backfills, and pipelines
• Centralize dataset metadata and data quality information using tools such as OpenMetadata
• Improve monitoring and notifications so teams know when pipelines or data assets need attention
• Coordinate changes with studio data engineers to align shared solutions with their needs and patterns
• Contribute to productionizing and monitoring machine learning pipelines, and fix issues as responsibilities rotate

Требования:

• Experience building and operating data pipelines, including ingestion, preparation, data quality checks, backfills, and orchestration
• Working knowledge of Kubernetes, Airflow, SQL, and Spark
• A practical approach to delivering work, with reliability and consistency in maintaining systems and working with others
• Ability to collaborate constructively with engineers within the team and across studios
• Будет плюсом: games industry experience, change data capture or streaming experience, exposure to machine learning workflows, knowledge of Kubeflow

Условия:

• 25 Days of paid holiday in addition to bank holidays
• £12 Daily lunch allowance when working in the office, redeemable through JustEat
• Regular quarterly on-site and off-site company events and rewards
• Employee Assistance Program
• Family-forming and fertility support, subject to policy
• Life Assurance and Group Income Cover
• Continuous professional development opportunities
• Opt-in private medical cover with Bupa and health cash plan with Medicash (P11d benefit)
• Opt-in dental cover (P11d benefit)
• Cycle to Work salary-sacrifice bike purchase scheme
• Pension plan with qualifying earnings or an opt-in 4% contributory match scheme
• 20 Days of remote working per year, which can be used from anywhere in the world or to cover mandatory office days