Real-Time Data Engineer – Spark, Kafka, GCP

Wypoon Technologies; Amsterdam; On-site; EUR 90,000 - 140,000; Full time

Job summary

Wypoon Technologies ищет Data Engineer для построения надёжной, масштабируемой облачной платформы данных в очертанном масштабе Нидерландов. Ваша роль — проектирование и развертывание end-to-end решений на основе GCP, работа с потоковыми данными и современными технологиями.

У вас есть опыт работы с Java/Scala, Spark Structured Streaming и Kafka, а также умение развивать решения в условиях сложной корпоративной среды и взаимодействовать со стейкхолдерами.

Qualifications

• Medior/Senior-level Data Engineering experience with focus on real‑time processing
• Strong programming skills in Java and/or Scala
• Hands-on production experience with Spark Structured Streaming
• Extensive experience with Apache Kafka (topics, producers, consumers, pipelines)
• Hands-on experience with Google Cloud Platform (GCP)
• Experience with NoSQL databases
• Ability to own end-to-end technical solutions and communicate with stakeholders

Responsibilities

• Design, build and maintain scalable real-time data pipelines and event streaming solutions using Apache Kafka, Spark and GCP
• Develop event refinement, transformation and event combination solutions for multiple business use cases
• Build and optimize streaming applications using Java and/or Scala, focusing on Spark Structured Streaming
• Modernize legacy SQL/SSRS reports by migrating to a real-time data platform
• Develop real-time monitoring and reporting solutions from PoC to production MVP
• Design scalable data architectures and ensure reliable integration between streaming platforms, NoSQL databases and cloud services
• Write clean, maintainable, well-tested, and documented code with strong engineering practices
• Collaborate with engineering teams and business stakeholders, taking ownership of technical solutions in a complex enterprise environment

Skills

Data engineering

Java

Scala

Apache Spark

Apache Kafka

GCP

NoSQL

Real-time processing

End-to-end ownership

Communication

Tools

Apache Kafka

Apache Spark

GCP

NoSQL databases

Job description

Wypoon Technologies ищет Data Engineer для построения надёжной, масштабируемой облачной платформы данных в очертанном масштабе Нидерландов. Ваша роль — проектирование и развертывание end-to-end решений на основе GCP, работа с потоковыми данными и современными технологиями.

У вас есть опыт работы с Java/Scala, Spark Structured Streaming и Kafka, а также умение развивать решения в условиях сложной корпоративной среды и взаимодействовать со стейкхолдерами.