Senior Cloud-Native Data Platform Engineer

Enfint; Warszawa; On-site; PLN 180,000 - 300,000; Full time

Job summary

Sigma Software ищет опытного Data Engineer для разработки масштабируемых облачных платформ данных. Ваша задача — создавать пайплайны, мигрировать данные в облако, настраивать Data Lake/Lakehouse и поддерживать качество данных.

Требуется 5+ лет опыта в Data Engineering, владение Python/SQL, Spark/PySpark, Databricks или Snowflake, опыт облачных провайдеров и инструментов DAG. Конкурентная ставка, гибкость и возможность работать в команде профессионалов.

Qualifications

• 5+ лет опыта в Data Engineering и разработке пайплайнов.
• Опыт Python и SQL для построения конвейеров обработки данных.
• Опыт Spark / PySpark, оптимизация запросов и производительности.
• Опыт Databricks или Snowflake.
• Опыт работы в облаке (Azure/AWS/GCP).
• Опыт потоковой обработки: Kafka, Spark Structured Streaming.
• Понимание ETL/ELT, Data Vault, Dimensional modelling.
• Опыт orchestration: Airflow, Azure Data Factory или аналог.
• Знание Terraform или IaC, обеспечение надежности систем.
• Уровень английского не ниже Upper-Intermediate.

Responsibilities

• Разрабатывать и разворачивать масштабируемые облачные платформы данных.
• Реализовывать конвейеры Ingestion в реальном времени.
• Определять и соблюдать стандарты платформы, модели Data Lake/Lakehouse.
• Рефакторинг Spark/PySpark скриптов для производительности.
• Вводить лучшие практики качества кода, тестирования и CI/CD.
• Продвигать инструменты AI и агентские рабочие процессы.
• Обеспечивать качество, наблюдаемость и устойчивость пайплайнов.
• Разрабатывать self-service инструменты и микросервисы.
• Сотрудничать с ML, Data Science и продуктовой командами.
• Участвовать в R&D по агентному AI и LLM-пайплайнам.

Skills

Python

SQL

Spark / PySpark

Databricks

Snowflake

Облачные платформы

Kafka

Airflow

Terraform

Modeling / Data Vault

LLM integration

Tools

dbt

Unity Catalog

Apache Atlas

MLflow

Feature Stores

Job description

Sigma Software ищет опытного Data Engineer для разработки масштабируемых облачных платформ данных. Ваша задача — создавать пайплайны, мигрировать данные в облако, настраивать Data Lake/Lakehouse и поддерживать качество данных.

Требуется 5+ лет опыта в Data Engineering, владение Python/SQL, Spark/PySpark, Databricks или Snowflake, опыт облачных провайдеров и инструментов DAG. Конкурентная ставка, гибкость и возможность работать в команде профессионалов.