Data Engineer: Scalable Data Platforms & Pipelines

Enfint; Wrocław; On-site; PLN 102,000 - 122,000; Full time

Benefits offered by this job

LuxMed

MyBenefit credits

Multisport

Glasses reimbursement

Referral bonuses

AI tools licenses

R&D lab access

Job summary

Vention ищет опытного инженера по данным для проектирования и поддержки масштабируемых конвейеров ETL/ELT на облачных платформах. Ваша работа будет включать интеграцию источников данных, обеспечение качества и доступности для аналитики и ML, а также создание Data Lake, Data Warehouse и Data Lakehouse.

Требуется 4+ года опыта, продвинутые навыки Python/SQL, опыт Spark/PySpark и работы с AWS или Azure. Вакансия предполагает работу в кросс-функциональных командах и акцент на Agile и англ.

Qualifications

• 4+ года опыта в Data Engineering и создании end-to-end data solutions.
• Знания Python/SQL на продвинутом уровне.
• Опыт работы с Apache Spark/PySpark в распределённых средах.

Responsibilities

• Строить, оптимизировать и поддерживать масштабируемые ETL/ELT пайплайны на облаке.
• Интегрировать источники данных, обеспечивать качество и доступность для аналитики и ML.
• Разрабатывать облачные архитектуры данных: Data Lake, Data Warehouse, Data Lakehouse.
• Разрабатывать решения обработки данных с использованием Spark/PySpark.

Skills

Python

SQL

Spark/PySpark

Cloud experience

Data Lake/Warehouse

Agile/Scrum

English B2+

Tools

AWS

Azure

Job description

Vention ищет опытного инженера по данным для проектирования и поддержки масштабируемых конвейеров ETL/ELT на облачных платформах. Ваша работа будет включать интеграцию источников данных, обеспечение качества и доступности для аналитики и ML, а также создание Data Lake, Data Warehouse и Data Lakehouse.

Требуется 4+ года опыта, продвинутые навыки Python/SQL, опыт Spark/PySpark и работы с AWS или Azure. Вакансия предполагает работу в кросс-функциональных командах и акцент на Agile и англ.