Senior Data Engineer: Data Lake & ETL Pipeline Lead

Valantic; Lisboa; On-site; EUR 70,000 - 120,000; Full time

Benefits offered by this job

Гибкий график

Профессиональное развитие

Конкурентное вознаграждение

Job summary

Valantic в Португалии ищет старшего инженера по данным для разработки современного data lake в финансовом секторе. Вы будете строить и поддерживать ETL/ELT конвейеры, обеспечивая качество и безопасность данных, работая в тесном сотрудничестве с бизнес- и IT-стейкхолдерами.

Требуется 5+ лет опыта, знание Python/SQL, Spark/NiFi/Kafka, и облачных сервисов AWS/Azure. Будет плюс владение GenAI-инструментами и опытом в финансовом домене.

Qualifications

• Требуется степень в информатике или смежной области.
• Опыт не менее 5 лет в области обработки данных и интеграции.
• Наличие опыта проектирования ETL/ELT конвейеров.
• Умение писать поддерживаемый код на Python и SQL.
• Опыт работы с Spark, NiFi и Kafka.

Responsibilities

• Проектирование, реализация, тестирование, развёртывание и эксплуатация ETL/ELT конвейеров.
• Разработка data lake/хранилища на AWS и/или Azure и обеспечение качества данных.
• Сотрудничество с бизнес- и IT-стейкхолдерами для формализации требований.
• Обеспечение traceability, безопасности и мониторинга данных.
• Участие в код-ревью, тестировании, CI/CD и развёртывании.

Skills

Python

SQL

Apache Spark/PySpark

Apache NiFi

Kafka

AWS/Azure

PostgreSQL/MongoDB

Parquet

REST APIs

CI/CD/Git

Education

Степень в области информатики/данных

Tools

Apache Spark

PySpark

Apache NiFi

Kafka

PostgreSQL

MongoDB

Parquet

AWS

Azure

Git

Job description

Valantic в Португалии ищет старшего инженера по данным для разработки современного data lake в финансовом секторе. Вы будете строить и поддерживать ETL/ELT конвейеры, обеспечивая качество и безопасность данных, работая в тесном сотрудничестве с бизнес- и IT-стейкхолдерами.

Требуется 5+ лет опыта, знание Python/SQL, Spark/NiFi/Kafka, и облачных сервисов AWS/Azure. Будет плюс владение GenAI-инструментами и опытом в финансовом домене.