Lead Data Engineer: Snowflake Data Products & AI

M&G; Greater London; Hybrid; GBP 90,000 - 130,000; Full time

Benefits offered by this job

Пенсионный план до 18%

Share Save и Share Incentive Plan

38 дней отпуска в год + до 5 дней куск

Job summary

M&G ищет ведущего инженера по данным для руководства созданием и доставкой data-продуктов на Snowflake-платформе. Вы будете вести архитектурные решения, сотрудничать с командами аналитики и AI, а также наставлять инженеров как внутри UK, так и в Индии, чтобы обеспечить качество и масштабируемость решений.

Ключевые задачи включают внедрение data mesh, безопасность по дизайну и эффективную эксплуатацию конвейеров, с акцентом на прозрачность и соответствие требованиям регуляторов в финансовом

Qualifications

• Значительный опыт в инжиниринге данных, включая роль технического лидера в сфере управления активами или финансовых услуг.
• Практический опыт построения и оптимизации конвейеров данных и продуктов на Snowflake.
• Знание архитектур medallion и lakehouse, ELT, размерностное моделирование данных.
• Опыт реализации end-to-end data products, включая семантический слой для аналитики/ИИ.
• Опыт внедрения каталогов данных, качества, родословной и наблюдаемости.
• Понимание облачной безопасности, управления доступом и требований конфиденциальности и регулирования.
• Умение сотрудничать с коллегами в данных и IT, разделять ответственность.
• Опыт руководства удаленными командами как единая команда.
• Опыт работы в data mesh или hub-and-spoke моделях.
• Опыт миграций платформ данных, включая сверку данных и retiring устаревших источников.
• Понимание инвестиционных данных (инструменты, портфели, позиции, показатели).
• Плюсом: Azure с опытом Databricks.

Responsibilities

• ВестиHands-on разработку и сборку ETL/ELT конвейеров на нашей Snowflake-ориентированной платформе.
• Применять medallion-архитектуру, продвигая данные от raw к curated к consumption-ready.
• Переводить требования бизнеса и дата-производителей в надежные технические дизайны и планы поставки.
• Строить повторяемые образцы ingest/transform/consumption для BI, API, data sharing и AI.
• Определять стандарты DataOps, CI/CD, тестирования и наблюдаемости.
• Вести ревью дизайна, кода и парное программирование.
• Наставлять инженеров и развивать их навыки; работать с офшорными командами как единая команда.
• Работать с Data Product, Analytics и AI командами для семантических моделей.
• Руководить миграциями с устаревших платформ и точечных потоков данных на стратегическую платформу.
• Снижать дублирование конвейеров, оптимизировать вычисления и хранение.

Skills

Data engineering

Snowflake

Technical leadership

Data pipelines

Medallion architecture

Data quality

Data governance

CI/CD

Security & compliance

Mentoring offshore teams

Tools

Snowflake

Azure

Databricks

Job description

M&G ищет ведущего инженера по данным для руководства созданием и доставкой data-продуктов на Snowflake-платформе. Вы будете вести архитектурные решения, сотрудничать с командами аналитики и AI, а также наставлять инженеров как внутри UK, так и в Индии, чтобы обеспечить качество и масштабируемость решений.

Ключевые задачи включают внедрение data mesh, безопасность по дизайну и эффективную эксплуатацию конвейеров, с акцентом на прозрачность и соответствие требованиям регуляторов в финансовом