Data Engineer - AI-First Cloud Data Pipelines

Enfint; Województwo pomorskie; On-site; PLN 112,000 - 201,000; Full time

Benefits offered by this job

Private medical care (LuxMed)

Kafeteria MyBenefit credits

Multisport membership

Glasses reimbursement

Referral bonuses

Edu corporate community with AI track

Licenses for AI tools (GitHub Copilot,

Job summary

Vention — глобальный инженерный партнер, помогающий лидерам индустрии и стартапам строить масштабируемые конвейеры данных и инфраструктуру через подход с AI-first. Команда занимается созданием ETL/ELT пайплайнов, управлением источниками данных и внедрением облачных архитектур.

Основной фокус — интеграция данных, обеспечение их качества и доступности для аналитики и ML, использование Spark/PySpark и работа в Agile-окружении. Предлагается конкурентная зарплата и набор бонусов.

Qualifications

• 4+ лет опыта в Data Engineering, создание сквозных data-решений.
• Опыт владения Python и SQL.
• Экспертиза Apache Spark и PySpark для распределенной обработки данных.
• Практический опыт AWS (Glue, S3, Athena, QuickSight) или Azure (Data Factory, Databricks, ADLS).
• Понимание архитектур Data Lake, Delta Lake и Data Warehouse.
• Опыт работы в Agile (Scrum или Kanban).
• Английский B2+, умение общаться с клиентами на английском.

Responsibilities

• Строить, оптимизировать и поддерживать масштабируемые ETL/ELT пайплайны на облачных платформах.
• Интегрировать и управлять источниками данных, обеспечивая качество, надежность и доступность для аналитики и ML.
• Разрабатывать облачные архитектуры данных: Data Lake, Data Warehouse и Data Lakehouse.
• Разрабатывать решения по обработке данных с использованием Spark и PySpark в распределенных средах.
• Сотрудничать с кросс-функциональными командами для перевода бизнес-требований в эффективные решения.
• Обеспечивать доступ к данным для отчетности, дашбордов и инструментов визуализации.
• Следить за современными технологиями Data Platform и вносить улучшения в экосистему данных.

Skills

Python

SQL

Apache Spark

PySpark

AWS

Azure

Data Lake

Data Warehouse

Scrum/Kanban

English (B2+)

Tools

AWS Glue

AWS S3

AWS Athena

AWS QuickSight

Azure Data Factory

Databricks

Azure Data Lake Storage

Job description

Vention — глобальный инженерный партнер, помогающий лидерам индустрии и стартапам строить масштабируемые конвейеры данных и инфраструктуру через подход с AI-first. Команда занимается созданием ETL/ELT пайплайнов, управлением источниками данных и внедрением облачных архитектур.

Основной фокус — интеграция данных, обеспечение их качества и доступности для аналитики и ML, использование Spark/PySpark и работа в Agile-окружении. Предлагается конкурентная зарплата и набор бонусов.