data engineer in fintech

Comm-IT; Kraków; Ibrido; PLN 180.000 - 260.000; Tempo pieno

Descrizione del lavoro

Comm-IT ищет специалиста по lakehouse для владения архитектурой Bronze/Silver/Gold, таблицами Iceberg/Delta/Hudi и эволюцией схем. Уровень 2 года hands-on в production lakehouse и опыт работы с TB+ данными обязателен.

Кандидат займется ingest через CDC (Kafka/Debezium), проектированием эффективных layout-решений, управлением хранением и соответствием GDPR, а также мониторингом качества данных и затрат.

Competenze

• 2 года практического опыта в production lakehouse среде.
• Опыт архитектуры lakehouse: Bronze/Silver/Gold, Iceberg/Delta/Hudi и эволюция схем.
• Опыт оптимизации данных на TB+ масштабе: разбиение на партиции, сжатие файлов, размер файлов, производительность запросов (Trino/Athena/Snowflake).
• Production experience with cloud lakehouse/DWH: Snowflake, Databricks, or BigQuery.
• Опыт CDC и стриминга с Kafka/Debezium или аналогами, включая задержанные, дубликаты, out-of-order события.
• Сильные SQL и моделирование данных, умение работать с OLTP системами и финансовыми Ledger.

Mansioni

• Владение архитектурой lakehouse и уровнями Bronze/Silver/Gold, таблицами Iceberg/Delta/Hudi и эволюцией схем.
• Ingest operational data через CDC стриминг с Kafka и Debezium, обработка поздних и дубликатных событий.
• ПроектированиеLAYOUT данных для скорости и затрат: партиционирование, сжатие, размер файлов, производительность запросов (Trino/Athena/Snowflake).
• Управление хранением: retention, архив, immutable, GDPR deletion.
• Обеспечение корректности данных через freshness SLA, drift detection и сверку с источниками wallet/ledger.
• Управление данными и каталогами: lineage, контроль доступа, PII masking, шифрование, аудит.
• Мониторинг ingestion health, аномалий данных и расходов на хранение/вычисления.

Conoscenze

SQL

Data modeling

Python

Airflow

Dagster

Strumenti

Iceberg

Delta

Hudi

Trino

Athena

Snowflake

Kafka

Debezium

Airflow

Descrizione del lavoro

Описание:

The company's data lakehouse stores millions of financial events daily, including bets, wallet transactions, and live odds, and serves over 12 million active users.

Задачи:

• Own the lakehouse architecture, including bronze/silver/gold layers, Iceberg/Delta tables, and schema evolution


• Ingest operational data through CDC streaming with Kafka and Debezium, handling late and duplicate events


• Design data layouts for speed and cost, including partitioning, compaction, file sizing, and query performance on Trino/Athena/Snowflake


• Own retention and archival, including storage tiering, regulatory retention, immutability, and GDPR deletion


• Ensure data correctness through freshness SLAs, drift detection, and reconciliation against source wallet and ledger systems


• Own governance, including catalogs and lineage, row/column access control, PII masking, encryption, and audit trails


• Monitor ingestion health, data anomalies, and cloud storage and compute spend

Требования:

• 2 Years of hands‑on experience in a production lakehouse environment


• Experience with lakehouse architecture, bronze/silver/gold layering, an open table format (Iceberg, Delta, or Hudi), and schema evolution


• Experience with data layout and query optimization at TB+ scale, including partitioning, compaction, file sizing, and query performance on Trino/Athena/Snowflake


• Production experience with a cloud lakehouse/DWH: Snowflake, Databricks, or BigQuery


• Experience with CDC and streaming ingestion using Kafka and Debezium or equivalent, including late, duplicate, and out-of-order events


• Strong SQL and data modeling skills, with relational knowledge to reason about captured OLTP systems, especially financial ledgers


• Experience with correctness practices, including freshness SLAs, drift detection, and reconciliation against source wallet/ledger systems


• Experience with governance, including catalogs, lineage, row/column access control, PII masking, retention, and GDPR deletion


• Experience with cloud object storage (S3 or GCS), storage tiering, and archival


• Python and an orchestrator such as Airflow or Dagster

Условия:

• Hybrid schedule: 2 days per week from the office