data engineer in AI-first data infrastructure

Enfint; Województwo pomorskie; On-site; PLN 112,000 - 201,000; Full time

Benefits offered by this job

Private medical care (LuxMed)

Kafeteria MyBenefit credits

Multisport membership

Glasses reimbursement

Referral bonuses

Edu corporate community with AI track

Licenses for AI tools (GitHub Copilot,

Job summary

Vention — глобальный инженерный партнер, помогающий лидерам индустрии и стартапам строить масштабируемые конвейеры данных и инфраструктуру через подход с AI-first. Команда занимается созданием ETL/ELT пайплайнов, управлением источниками данных и внедрением облачных архитектур.

Основной фокус — интеграция данных, обеспечение их качества и доступности для аналитики и ML, использование Spark/PySpark и работа в Agile-окружении. Предлагается конкурентная зарплата и набор бонусов.

Qualifications

• 4+ лет опыта в Data Engineering, создание сквозных data-решений.
• Опыт владения Python и SQL.
• Экспертиза Apache Spark и PySpark для распределенной обработки данных.
• Практический опыт AWS (Glue, S3, Athena, QuickSight) или Azure (Data Factory, Databricks, ADLS).
• Понимание архитектур Data Lake, Delta Lake и Data Warehouse.
• Опыт работы в Agile (Scrum или Kanban).
• Английский B2+, умение общаться с клиентами на английском.

Responsibilities

• Строить, оптимизировать и поддерживать масштабируемые ETL/ELT пайплайны на облачных платформах.
• Интегрировать и управлять источниками данных, обеспечивая качество, надежность и доступность для аналитики и ML.
• Разрабатывать облачные архитектуры данных: Data Lake, Data Warehouse и Data Lakehouse.
• Разрабатывать решения по обработке данных с использованием Spark и PySpark в распределенных средах.
• Сотрудничать с кросс-функциональными командами для перевода бизнес-требований в эффективные решения.
• Обеспечивать доступ к данным для отчетности, дашбордов и инструментов визуализации.
• Следить за современными технологиями Data Platform и вносить улучшения в экосистему данных.

Skills

Python

SQL

Apache Spark

PySpark

AWS

Azure

Data Lake

Data Warehouse

Scrum/Kanban

English (B2+)

Tools

AWS Glue

AWS S3

AWS Athena

AWS QuickSight

Azure Data Factory

Databricks

Azure Data Lake Storage

Job description

Описание

Vention is a global engineering partner to tech leaders and fast-growing startups, combining product development expertise with an AI-first approach. It helps startups and enterprises turn data into smart decisions and better user experiences by building scalable data pipelines and infrastructure.

Задачи

• Build, optimize, and maintain scalable ETL/ELT pipelines using cloud platforms
• Integrate and manage diverse data sources, ensuring data quality, reliability, and accessibility for analytics and ML use cases
• Design and maintain cloud-native data architectures, including Data Lake, Data Warehouse, and Data Lakehouse
• Develop data processing solutions using Spark and PySpark in distributed environments
• Collaborate with cross-functional teams to translate business requirements into efficient, scalable data solutions
• Support analytics use cases by enabling data consumption for reporting, dashboards, and visualization tools
• Stay up to date with modern data platform technologies and best practices, contributing to continuous improvement of the data ecosystem

Требования

• 4+ Years of experience in Data Engineering, delivering end-to-end data solutions
• Strong hands-on experience with Python and SQL
• Solid expertise with Apache Spark and PySpark for distributed data processing
• Hands-on experience with AWS, including Glue, S3, Athena, and QuickSight, or Azure, including Data Factory, Databricks, and ADLS
• Good understanding of modern data architectures, including Data Lake, Delta Lake, and Data Warehouse
• Experience working in an Agile environment, such as Scrum or Kanban
• English B2+, comfortable communicating with English-speaking customers

Условия

• Salary from 10000 PLN gross
• EDU corporate community with tech communities, interest clubs, events, an R&D lab, a knowledge base, and a dedicated AI track
• Licenses for AI tools, including GitHub Copilot and Cursor
• Private medical care with LuxMed
• Kafeteria MyBenefit credits for stores, restaurants, and cafés
• Access to a Multisport membership
• Glasses reimbursement program
• Referral bonuses