Insurance Data Engineer: Azure Fabric & PySpark

Astek Group

Warszawa

On-site

PLN 166,000 - 221,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Multisport
Private medical care
Life insurance

Job summary

Astek Group ищет Data Engineer с опытом работы на продакшн-проектах в области данных. Вы будете проектировать пайплайны в Azure Data Factory и PySpark в Microsoft Fabric, интегрировать источники, валидировать данные и обеспечивать качество и безопасность данных.

Требуется владение Python, PySpark, SQL и Git, опыт работы с облачными платформами и медальонной архитектурой. Предусмотрены обучение, сертификации и возможности карьерного роста.

Qualifications

  • 3+ года опыта в роли Data Engineer на продакшн-проектах
  • Python, PySpark и SQL на уровне свободной работы с большими данными
  • Опыт работы в облачных платформах: Microsoft Fabric, Azure Synapse или Databricks
  • Понимание архитектуры данных (медальонная архитектура) и форматов Delta/Parquet
  • Опыт интеграции источников данных, включая Excel
  • Опыт использования Git в команде
  • Готовность подписать NDA и пройти требуемые проверки безопасности
  • Будет плюсом сертификации DP-600/DP-700; опыт CQF; CI/CD для Data Platform; R; Agile/Scrum

Responsibilities

  • Проектирование и реализация пайплайнов в Azure Data Factory и PySpark-ноутбуках в Microsoft Fabric
  • Подключение источников данных и их валидация
  • Трансформацию и подготовку пакетных данных
  • Реализация правил качества данных и отчетности об ошибках
  • Версионирование наборов данных и запись метаданных запуска
  • Поддержка качества кода в Git-воркфлоу и участие в CI/CD
  • Сотрудничество с Risk Team для определения правил трансформаций
  • Соблюдение требований безопасности и регуляторики, интеграция стандартов безопасности в Azure
  • Оптимизация процессов по производительности и затратам

Skills

Python
PySpark
SQL
Git

Tools

Microsoft Fabric
Azure Synapse
Databricks
Delta/Parquet

Job description

Astek Group ищет Data Engineer с опытом работы на продакшн-проектах в области данных. Вы будете проектировать пайплайны в Azure Data Factory и PySpark в Microsoft Fabric, интегрировать источники, валидировать данные и обеспечивать качество и безопасность данных.

Требуется владение Python, PySpark, SQL и Git, опыт работы с облачными платформами и медальонной архитектурой. Предусмотрены обучение, сертификации и возможности карьерного роста.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Senior Data Engineer - Azure, Fabric, Power BI
Senior Data Engineer - Azure, Fabric, Power BI

Astek Group • Województwo mazowieckie

On-site
PLN 180,000 - 300,000
DevOps Engineer – Azure, Power BI CI/CD Expert
DevOps Engineer – Azure, Power BI CI/CD Expert

Astek Group • Warszawa

On-site
PLN 221,000 - 269,000
Multisport
Private medical care
Life insurance
+5
Data engineer in insurance
Data engineer in insurance

Astek Group • Warszawa

On-site
PLN 166,000 - 221,000
Multisport
Private medical care
Life insurance
Senior Data Engineer: Microsoft Fabric on Azure
Senior Data Engineer: Microsoft Fabric on Azure

Sii Poland • Bydgoszcz

On-site
PLN 180,000 - 240,000
Great Place to Work
Profit sharing
Medical care
+2
Data Engineer - Azure & Databricks for Portfolio Insights
Data Engineer - Azure & Databricks for Portfolio Insights

Luxoft • Wrocław

On-site
PLN 180,000 - 260,000
Senior Data Engineer — FinTech on Databricks & Azure
Senior Data Engineer — FinTech on Databricks & Azure

Sii Poland • Warszawa

On-site
PLN 180,000 - 300,000
MySii app
Медицинское обслуживание
Центр внутренних обучений
+1
Azure Data Engineer: Data Lake & ETL Architect
Azure Data Engineer: Data Lake & ETL Architect

Sii • Województwo mazowieckie

On-site
PLN 180,000 - 260,000
Cloud Data Engineer | ETL Architect for AI-Driven Analytics
Cloud Data Engineer | ETL Architect for AI-Driven Analytics

Vention • Łódź

Hybrid
PLN 81,000 - 97,000
Частная медицинская страховка LuxMed
Кафетерий MyBenefit
Multisport
+3
Senior Data Engineer: Spark/Databricks, Kafka, Azure
Senior Data Engineer: Spark/Databricks, Kafka, Azure

Solid Company • Wrocław

Hybrid
PLN 180,000 - 240,000
PySpark Data Engineer
PySpark Data Engineer

BraverIT • Kraków

Hybrid
PLN 180,000 - 240,000
Top locations