Senior Data Engineer – Lakehouse, PySpark & AI-Driven Pipelines

Sytac BV; Amsterdam; On-site; EUR 90,000 - 140,000; Full time

Benefits offered by this job

Unlimited Growth Days

Company laptop budget €4000

Technology budget

Training budget €2400/year

Pension contribution 3.75%

Annual team events / ski trips

No relocation support

Job summary

Sytac ищет senior data engineer в Амстердаме для разработки производственных ETL/ELT пайплайнов на Python и SQL. Ваша задача — проектирование Lakehouse сред и управление инфраструктурой как кодом с использованием Terraform и Docker/Kubernetes.

Вы будете работать с Airflow, Databricks, GCP/Azure и обеспечивать качество данных. Требуется 6+ лет опыта, сильный английский, знание Spark/PySpark, SQL и опыт работы с Azure Databricks и CI/CD.

Qualifications

• 6+ лет опыта в production‑софтвере
• Высшее/магистр уровня мышления HBO/WO
• Эксперт в Python и SQL в PostgreSQL/MSSQL/Oracle
• Глубокий опыт Spark/PySpark для распределённых задач
• Опыт с Azure Databricks, Data Factory, Synapse и/или GCP BigQuery/Dataflow
• Опыт Lakehouse и моделирования Star/dimension
• Опыт оркестрации Airflow
• Опыт Git/Azure DevOps pipelines и CI/CD
• Опыт Docker и Kubernetes на ежедневной основе
• Опыт Kafka и Elasticsearch
• Опыт обеспечения качества данных, lineage и governance
• Опыт в AI‑assisted разработке
• Сильное взаимодействие с стейкхолдерами
• Хороший английский
• Желателен: Scala/Java/Kotlin, Dutch, dbt, Terraform/Bicep, Medallion, Delta, Iceberg, Hudi, ArgoCD, OpenAI

Responsibilities

• Строить поддерживаемые, модульные ETL/ELT пайплайны на Python, PySpark и SQL
• Проектировать Lakehouse среды с Medallion архитектурой
• Владеть infrastructure как кодом через Terraform/Bicep
• Контейнеризация через Docker и Kubernetes
• Оркестрация рабочих процессов с Apache Airflow
• CI/CD для пайплайнов через Azure DevOps и GitHub Actions
• Использовать AI‑инструменты в разработке и интегрировать LLM
• Преобразовывать бизнес‑логику в технические спецификации
• Поддерживать точную lineage и governance

Skills

Python

SQL

Spark/PySpark

Airflow

Azure Databricks

Data Lake / Lakehouse

Git / CI/CD

Docker / Kubernetes

English

Education

HBO/WO уровень мышления

Tools

Azure Databricks

Azure Data Factory

Synapse / BigQuery

GCP Dataflow

Airflow

Docker

Kubernetes

Git / Azure DevOps

Kafka

Elasticsearch

Job description

Sytac ищет senior data engineer в Амстердаме для разработки производственных ETL/ELT пайплайнов на Python и SQL. Ваша задача — проектирование Lakehouse сред и управление инфраструктурой как кодом с использованием Terraform и Docker/Kubernetes.

Вы будете работать с Airflow, Databricks, GCP/Azure и обеспечивать качество данных. Требуется 6+ лет опыта, сильный английский, знание Spark/PySpark, SQL и опыт работы с Azure Databricks и CI/CD.