Payments Data Platform Engineer (Databricks/AWS)

Barclays; Greater London; On-site; GBP 90,000 - 125,000; Full time

Job summary

Барclays ищет инженерa данных для построения и поддержки высоконадежных конвейеров данных в рамках платформы Databricks в лондонском офисе. Вы будете проектировать архитектуры данных, разворачивать пайплайны и сотрудничать с учёными данными для развёртывания моделей.

Требуется опыт работы с Python, PySpark, SQL, Git и CI/CD, знание управления доступом и безопасности. Ожидается участие в формировании стандартов разработки, а также менторство младших специалистов; офисная работа 3 дня в неделю.

Qualifications

• Опыт построения производственных Databricks платформ
• Разработка конвейеров данных с пакетной и потоковой обработкой
• Опыт работы с безопасностью данных, IAM и шифрованием
• Опыт работы в средах Python/PySpark/SQL

Responsibilities

• Строить и поддерживать архитектуры данных и пайплайны
• Проектировать хранилища данных и озера данных под требования
• Разрабатывать алгоритмы обработки данных для больших объемов
• Сотрудничать с Data Scientists для развёртывания моделей
• Определять инженерные стандарты, автоматизацию и контроль

Skills

Databricks

PySpark

Python

SQL

CI/CD

Security & IAM

Terraform

Tools

Git

GitHub Actions

Terraform

Databricks Unity Catalog

Job description

Барclays ищет инженерa данных для построения и поддержки высоконадежных конвейеров данных в рамках платформы Databricks в лондонском офисе. Вы будете проектировать архитектуры данных, разворачивать пайплайны и сотрудничать с учёными данными для развёртывания моделей.

Требуется опыт работы с Python, PySpark, SQL, Git и CI/CD, знание управления доступом и безопасности. Ожидается участие в формировании стандартов разработки, а также менторство младших специалистов; офисная работа 3 дня в неделю.