Senior Data Engineer: Scalable Pipelines & ML Deployments

Royal Mail; Greater London; Sur place; GBP 85 000 - 110 000; Plein temps

Avantages offerts par ce poste

Competitive salary

Car allowance

Healthcare

Annual bonus up to 18%

Pension with CDC

25 days leave

Résumé du poste

Royal Mail ищет Senior Data Engineer для формирования и реализации стратегии данных в одном из крупнейших национальных организаций Великобритании. Ваша роль — проектирование и построение масштабируемых data-продуктов, внедрение ML/AI и обеспечение надёжности CI/CD процессов.

Работа с командами Data Analytics, Data Science и Technology, а также взаимодействие с бизнес-стейкхолдерами для достижения бизнес-ценности и трансформации данных в масштабах страны.

Qualifications

• Значительный опыт Data Engineering, создание Production-grade решений
• Опыт работы с Python или Scala
• Опыт работы с Spark и Kafka
• Опыт проектирования моделей данных, ETL/ELT, data warehouses и lakes
• Навык работы с инструментами Google Cloud: BigQuery, Dataflow, Dataproc, Pub/Sub, Composer и Dataplex (или Azure/AWS аналогичные сервисы)
• Сильные знания SQL, управления метаданными и data governance
• Опыт работы с CI/CD, Kubernetes, релиз-менеджментом и облачными развертываниями
• Техники TDD/BDD
• Опыт Jira/Confluence в Agile
• Опыт ML/AI deployment (MLOps)
• Умение работать в многооблачной среде (GCP/Azure/AWS)
• Сильная коммуникация и взаимодействие с заинтересованными сторонами
• Структурированный подход к решению задач, способность конструктивно бросать вызов
• Опыт наставничества инженеров
• Дополнительным преимуществом будет степень/сертификация по Google Cloud

Responsabilités

• Разрабатывать и внедрять масштабируемые конвейеры данных и продукты с ощутимой бизнес-ценностью
• Проектировать и оптимизировать облачную data-платформу (GCP)
• Стандартизировать подходы к ingest/processing/storage/analysis данных
• Руководить командами по добыче, трансформации и доставке данных для операций и принятия решений
• Обеспечивать полный lifecycle data продуктов: концепция, дизайн, доставка, BAU
• Сотрудничать с Data Scientists и ML-инженерами для продакшн-активации ML/AI
• Развивать CI/CD, инфраструктуру и конфигурации, автоматизацию
• Управлять приоритетами, ресурсами и оценками доставки
• Работать с Product Owners и стейкхолдерами для решения технических задач
• Поддерживать пилоты и инновации в организации
• Документировать продукты и передавать их внутренним командам/поставщикам
• Наставлять инженеров и повышать инженерные стандарты

Connaissances

Python

Scala

Spark

Kafka

SQL

Data modelling

Data warehouses

Data lakes

GCP

Dataflow

Dataproc

Pub/Sub

Composer

Dataplex

CI/CD

Kubernetes

TDD/BDD

MLOps

Jira/Confluence

Formation

Высшее образование или эквивалент

Outils

BigQuery

Dataflow

Dataproc

Pub/Sub

Composer

Dataplex

Azure

AWS

Description du poste

Royal Mail ищет Senior Data Engineer для формирования и реализации стратегии данных в одном из крупнейших национальных организаций Великобритании. Ваша роль — проектирование и построение масштабируемых data-продуктов, внедрение ML/AI и обеспечение надёжности CI/CD процессов.

Работа с командами Data Analytics, Data Science и Technology, а также взаимодействие с бизнес-стейкхолдерами для достижения бизнес-ценности и трансформации данных в масштабах страны.