data engineer real-time data

Enfint; Lisboa; Híbrido; EUR 54 000 - 66 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Health insurance

Mental health support

Financial support for training

Flexible working

Career development opportunities

Resumo da oferta

Enfint ищет Data Engineer для разработки и поддержки масштабируемых ELT/ETL пайплайнов в Snowflake. Вы будете внедрять ingestion-решения из разных источников, включая реальные потоки через Kafka, и разворачивать KSQL/KStreams конвейеры для обработки данных в реальном времени.

Кандидат обладает опытом с SQL, Python и Airflow, а также знанием облачных платформ (AWS/Azure/GCP). Участвование в проектах по страхованию — преимущество, гибридный режим работы.

Qualificações

• Опыт работы Data Engineer в облачных решениях.
• Опыт в страховании/финансы приветствуется.
• Сильные SQL-навки и Python или аналогичный язык скриптов.
• Опыт Kafka для ingest и стриминга.
• Практический опыт KStreams и KSQL.
• Опыт с Snowflake: моделирование данных и оптимизация.
• Опыт Airflow для оркестрации задач.
• Знания AWS/Azure/GCP и DevOps/CI-CD.
• Умение взаимодействовать с техническими и бизнес-заинтересованными сторонами.
• Желателен опыт с Guidewire и Confluent Schema Registry.

Responsabilidades

• Проектирование, сборка и поддержка масштабируемых ELT/ETL пайплайнов в Snowflake.
• Интеграция данных из нескольких источников, включая реальные потоки через Kafka.
• Разработка и развёртывание конвейеров KSQL и KStreams для обработки реального времени.
• Разработка эффективных моделей данных в Snowflake для аналитики.
• Обеспечение качества, целостности и надёжности данных на всём жизненном цикле.
• Оптимизация пайплайнов и рабочих нагрузок Snowflake по производительности.
• Сотрудничество с архитекторами, аналитиками и дата-учёными для удовлетворения требований.
• Вклад в стандарты и лучшие практики data engineering, развитие платформы.

Conhecimentos

Snowflake моделирование

Kafka стриминг

KSQL / KStreams

SQL

Python

Airflow

Облачные платформы (AWS/Azure/GCP)

CI/CD / DevOps

Confluent Schema Registry

Guidewire (желательно)

Ferramentas

Snowflake

Kafka

KSQL

KStreams

Airflow

AWS

Azure

GCP

Confluent Schema Registry

Descrição da oferta de emprego

Описание: The independent technology consultancy works across data, cloud and technology transformation, helping clients modernise their platforms and make better use of their data.

Задачи:

• Design, build and maintain scalable ELT/ETL data pipelines within Snowflake.
• Implement data ingestion from multiple sources, including real-time streams using Kafka.
• Develop and deploy KSQL and KStreams pipelines for real-time data processing.
• Develop efficient and scalable data models within Snowflake for analytics and business intelligence.
• Ensure data quality, integrity and reliability throughout the data lifecycle.
• Optimise data pipelines and Snowflake workloads for performance and scalability.
• Collaborate with architects, analysts and data scientists to understand requirements and deliver effective data solutions.
• Contribute to data engineering standards, best practices and continuous improvement across the platform.

Требования:

• Solid commercial experience as a Data Engineer delivering cloud-based data solutions.
• Previous experience within insurance or financial services.
• Strong knowledge of Snowflake, including data modelling and performance optimisation.
• Hands-on experience with Kafka for data ingestion and stream processing.
• Practical experience developing and deploying KStreams and KSQL pipelines.
• Strong SQL skills and experience with Python or another scripting language.
• Experience with data orchestration tools such as Airflow.
• Experience with at least one major cloud platform, such as AWS, Azure or GCP.
• Strong understanding of data ingestion, transformation, modelling and integration.
• Ability to collaborate with technical and non-technical stakeholders.
• Nice to have: Experience building data pipelines for Policy Administration Systems, particularly Guidewire.
• understanding of data schemas and Confluent Schema Registry.
• experience with CI/CD practices and DevOps teams.
• broader experience across AWS, Azure or GCP.

Условия:

• Salary up to €60,000
• Health insurance and mental health support
• Financial support for ongoing professional training and development
• Flexible working
• Opportunities to work on modern data and cloud transformation programmes
• Career development opportunities within a growing technology consultancy