FinTech Lakehouse Data Engineer – Hybrid Role

Comm-IT; Kraków; Hybrid; PLN 180,000 - 260,000; Full time

Job summary

Comm-IT ищет специалиста по lakehouse для владения архитектурой Bronze/Silver/Gold, таблицами Iceberg/Delta/Hudi и эволюцией схем. Уровень 2 года hands-on в production lakehouse и опыт работы с TB+ данными обязателен.

Кандидат займется ingest через CDC (Kafka/Debezium), проектированием эффективных layout-решений, управлением хранением и соответствием GDPR, а также мониторингом качества данных и затрат.

Qualifications

• 2 года практического опыта в production lakehouse среде.
• Опыт архитектуры lakehouse: Bronze/Silver/Gold, Iceberg/Delta/Hudi и эволюция схем.
• Опыт оптимизации данных на TB+ масштабе: разбиение на партиции, сжатие файлов, размер файлов, производительность запросов (Trino/Athena/Snowflake).
• Production experience with cloud lakehouse/DWH: Snowflake, Databricks, or BigQuery.
• Опыт CDC и стриминга с Kafka/Debezium или аналогами, включая задержанные, дубликаты, out-of-order события.
• Сильные SQL и моделирование данных, умение работать с OLTP системами и финансовыми Ledger.

Responsibilities

• Владение архитектурой lakehouse и уровнями Bronze/Silver/Gold, таблицами Iceberg/Delta/Hudi и эволюцией схем.
• Ingest operational data через CDC стриминг с Kafka и Debezium, обработка поздних и дубликатных событий.
• ПроектированиеLAYOUT данных для скорости и затрат: партиционирование, сжатие, размер файлов, производительность запросов (Trino/Athena/Snowflake).
• Управление хранением: retention, архив, immutable, GDPR deletion.
• Обеспечение корректности данных через freshness SLA, drift detection и сверку с источниками wallet/ledger.
• Управление данными и каталогами: lineage, контроль доступа, PII masking, шифрование, аудит.
• Мониторинг ingestion health, аномалий данных и расходов на хранение/вычисления.

Skills

SQL

Data modeling

Python

Airflow

Dagster

Tools

Iceberg

Delta

Hudi

Trino

Athena

Snowflake

Kafka

Debezium

Airflow

Job description

Comm-IT ищет специалиста по lakehouse для владения архитектурой Bronze/Silver/Gold, таблицами Iceberg/Delta/Hudi и эволюцией схем. Уровень 2 года hands-on в production lakehouse и опыт работы с TB+ данными обязателен.

Кандидат займется ingest через CDC (Kafka/Debezium), проектированием эффективных layout-решений, управлением хранением и соответствием GDPR, а также мониторингом качества данных и затрат.