data engineer for motor insurance

Prima; United States; Remote; USD 120,000 - 190,000; Full time

Benefits offered by this job

Private healthcare

Gym discounts

Wellbeing programs

Mental health support

Mentorship

Tailored growth plan

Job summary

Prima приглашает к участию инженера-архитектора данных для проектирования и внедрения масштабируемых дата-продуктов, включая пакетную и потоковую обработку, а также управление хранилищами данных. Вы будете работать удаленно и взаимодействовать с командами Data Science и ML-инженерами, формируя требования к данным и инфраструктуру.

Требуется экспертиза в AWS, Kafka, Spark и Python, знание SQL/NoSQL, а также практики DevOps и IaC.

Qualifications

• Опыт работы с пакетной и потоковой обработкой данных и пайплайнами в реальном времени.
• Опыт реализации облачной платформы Data Lake или Big Data; AWS предпочтительно.
• Умение работать с Python и лучшие практики разработки ПО.
• Опыт работы с реляционными и NoSQL БД, моделирование данных.
• Навыки DevOps, CI/CD и IaC.

Responsibilities

• Спроектировать архитектуру дата-продуктов для аналитики и Data Science, включая прогнозирование и интеграцию новых источников данных.
• Установить лучшие практики трансформации данных, моделирования и управления данными для обеспечения доступности и надежности.
• Разрабатывать повторно используемые технологии для ingestion, хранения, преобразования и подачи данных.
• Сотрудничать с учёными данных и ML-инженерами для уточнения требований к данным и улучшения инфраструктуры.
• Следить за новыми технологиями через обучение и участие в сообществах.

Skills

Kafka

Flink

Spark

Python

SQL

NoSQL

DevOps

CI/CD

IaC

Data warehousing

Tools

AWS

Databricks

Apache Airflow

Apache Oozie

SQL databases

Job description

Описание

Prima uses data and technology to rethink motor insurance and provide drivers with a great experience at a great price. It is the number one online motor insurance provider in Italy and is expanding into the UK and Spain.

Задачи

• Shape the architecture of data products for analytics and data science, including forecasting, feature engineering, customer behaviour, and new data source integration
• Set best practices for data transformation, modelling, performance optimisation, and governance to ensure data is consistent, available, and reliable
• Build reusable technology that enables teams to ingest, store, transform, and serve their data products
• Collaborate with data scientists and machine learning engineers to refine data requirements and improve data infrastructure
• Stay current with emerging technologies through continuous learning, experimentation, and community activities

Требования

• Expertise in batch and distributed data processing and near-real-time streaming pipelines using technologies such as Kafka, Flink, and Spark
• Experience implementing cloud-based Data Lake or Big Data Analytics platforms; AWS preferred
• Proficiency in Python and software engineering best practices
• Expertise in RDBMS, data warehousing, relational SQL data modelling, and NoSQL databases
• Proficiency in DevOps, CI/CD pipeline management, and IaC deployment best practices

Будет плюсом

• Databricks, data quality and governance, MLOps, feature engineering, scikit-learn, pandas, NumPy, XGBoost, LightGBM, Apache Oozie, Apache Airflow

Условия

• Work from anywhere for up to 30 days a year
• Learning resources, mentorship, and a tailored growth plan
• Private healthcare, gym discounts, wellbeing programs, and mental health support