Data engineer in insurance

Symfa Inc.; United States; Remote; USD 150,000 - 190,000; Full time

Job summary

Symfa Inc. ищет старшего инженера данных для присоединения к проекту enterprise Data Warehouse в страховом сегменте.

Вы будете работать над ingestion, трансформацией и орквизией данных, очисткой и валидацией данных на Bronze/Silver, моделями Gold, а также оптимизацией Azure Synapse Dedicated SQL Pool под аналитические нагрузки и Power BI. Требуется 5+ лет опыта в Data Engineering, уверенный SQL и Python/PySpark, знание Medallion Architecture и моделирования данных.

Qualifications

• 5+ лет опыта в data engineering, включая 2–3 года работы с Azure.
• Сильные навыки SQL: сложные запросы, процедуры и оптимизация производительности.
• Уверенное владение Python/PySpark для обработки больших наборов данных.
• Практический опыт Azure Synapse Analytics, включая Dedicated SQL Pool и Synapse Pipelines.
• Знание Medallion Architecture (Bronze, Silver, Gold).
• Опыт моделирования данных с использованием звёздной/снежинки.
• Практики обеспечения качества данных: очистка, валидация и стандартизация.
• Подготовка аналитических данных для Power BI/BI-инструментов.
• Уровень английского не ниже B2.
• Плюсом: знание страхового домена; SSIS.

Responsibilities

• Проектирование, построение и обслуживание инфраструктуры данных для масштабной обработки и отчетности.
• Создание и поддержка размерных моделей данных (звезды и снежинки).
• Построение и оптимизация ETL/ELT пайплайнов из нескольких источников.
• Оптимизация запросов, индексов, хранилища и компонентов пайплайна.
• Реализация проверок качества данных для обеспечения точности и полноты.
• Разработка фреймворков валидации для обнаружения аномалий и расхождений.
• Перевод бизнес-требований в технические решения совместно с аналитиками.
• Поддержка документации по потокам данных, схемам и процессам.
• Реализация контроля доступа и маскирование данных.
• Соблюдение политик управления данными и регуляторных требований.

Skills

SQL

Python / PySpark

Azure Synapse

Medallion Architecture

Dimensional modeling

Data quality

ETL / ELT pipelines

Data governance

Power BI data prep

Tools

SSIS

SQL Server

Job description

Описание:

We're looking for a Senior Data Engineer to join an enterprise Data Warehouse project in the insurance domain. You'll work on building data ingestion, transformation, and orchestration pipelines, cleaning and validating data across the Bronze and Silver layers, and developing dimensional data models in the Gold layer. You'll also optimize Azure Synapse Dedicated SQL Pool for analytical workloads and reporting, helping deliver reliable, analytics-ready data for Power BI and other BI tools.

Задачи:

• Design, build, and maintain data infrastructure for large-scale data processing, analytics, and reporting.
• Create and maintain dimensional data models, including star schemas and snowflake schemas, to support efficient querying.
• Build, maintain, and optimize ETL pipelines, integrating data from multiple sources.
• Optimize queries, indexes, storage, and other components of the data pipeline to improve performance and efficiency.
• Implement data quality checks to ensure data accuracy, completeness, and consistency.
• Develop validation frameworks to detect data anomalies and discrepancies.
• Translate business requirements into technical solutions in collaboration with business analysts and other technical teams.
• Maintain documentation of data flows, schemas, and processes to support transparency and knowledge sharing.
• Implement access controls and data masking where required.
• Ensure data engineering solutions comply with data governance policies and applicable regulatory requirements.

Требования:

• 5+ years of experience in data engineering, including 2–3 years working with Azure.
• Strong SQL skills, including complex analytical queries, stored procedures, and performance optimization.
• Proficiency in Python/PySpark for large-scale data processing and ETL/ELT pipeline development.
• Hands‑on experience with Azure Synapse Analytics, including Dedicated SQL Pool and Synapse Pipelines.
• Understanding of Medallion Architecture (Bronze, Silver, Gold) and experience building scalable data warehouses.
• Experience with dimensional data modeling, including star schemas, fact and dimension tables.
• Knowledge of data quality practices, including data cleaning, validation, and standardization.
• Experience preparing analytics-ready data for Power BI or other BI tools.
• English level B2 or higher.
• Будет плюсом: Knowledge of the insurance domain; Experience with SQL Server Integration Services (SSIS) for developing and maintaining ETL packages and data integration workflows

Условия:

REMOTE