Senior Python Streaming Engineer — RabbitMQ & Snowflake

Coopers Group AG

Bern

On-site

CHF 150,000 - 195,000

Full time

9 days ago

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

Coopers Group sucht zwei Engineers, die die gesamte Datenverarbeitungskette verantworten und sich auf Python-Streaming-Lösungen konzentrieren. Sie entwickeln RabbitMQ-Consumer, optimieren Concurrency und sorgen für stabile Verarbeitung unter Belastung.

Sie integrieren Datenaufnahme in Snowflake und Snowflake Postgres, implementieren Recovery-, Replay- und Backfill-Prozesse und arbeiten eng mit Data-Ingestion-Engineering sowie Azure DevOps CI/CD.

Qualifications

  • Sehr gute praktische Erfahrung in der Python-Entwicklung nachhaltiger Anwendungen.
  • Fundierte Erfahrung mit RabbitMQ, insbesondere Consumer-Entwicklung, Message Processing und Fehlerbehandlung.
  • Praxis in Streaming-Systemen unter realer Last sowie deren Performance-Optimierung.

Responsibilities

  • Entwicklung und Optimierung einer skalierbaren Python-Anwendung zur Verarbeitung von RabbitMQ-Datenströmen.
  • Implementierung und Weiterentwicklung von RabbitMQ-Consumern für produktive Streaming-Umgebungen.
  • Integration und Konfiguration der Datenaufnahme in Snowflake und Snowflake Postgres.
  • Sicherstellung einer zuverlässigen Nachrichtenverarbeitung inklusive Acknowledgements, Redelivery, Backpressure und Deduplizierung.
  • Konzeption und Implementierung robuster Recovery-, Replay- und Backfill-Prozesse.
  • Optimierung von Latenz, Durchsatz sowie CPU- und Speicherverbrauch.
  • Analyse und Behebung von Performance-Engpässen, Lastspitzen und Fehlerfällen.
  • Sicherstellung von Datenvollständigkeit und Datenkonsistenz bei Live- und historischen Daten.
  • Integration von Nachladeprozessen unter Verwendung von Kestra und dlt (dltHub) in Zusammenarbeit mit dem internen Data Ingestion Engineer.
  • Entwicklung automatisierter Tests sowie Durchführung von Performance- und Lasttests.
  • Integration der Lösung in Azure DevOps CI/CD und Implementierung grundlegender Monitoring-Funktionen.
  • Enge Zusammenarbeit mit internen Plattform- und Engineering-Teams sowie Dokumentation und Wissenstransfer

Skills

Python-Entwicklung
RabbitMQ-Consumer
Streaming-Systeme
Azure DevOps
Datenpipelines
Performance-Optimierung
Concurrency
Datenkonsistenz

Tools

Snowflake
PostgreSQL
Kestra
dltHub
Azure AKS
Kafka
Debezium

Job description

Coopers Group sucht zwei Engineers, die die gesamte Datenverarbeitungskette verantworten und sich auf Python-Streaming-Lösungen konzentrieren. Sie entwickeln RabbitMQ-Consumer, optimieren Concurrency und sorgen für stabile Verarbeitung unter Belastung.

Sie integrieren Datenaufnahme in Snowflake und Snowflake Postgres, implementieren Recovery-, Replay- und Backfill-Prozesse und arbeiten eng mit Data-Ingestion-Engineering sowie Azure DevOps CI/CD.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)
Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)

Coopers Group AG • Bern

On-site
CHF 150,000 - 195,000
Data Engineer (Snowflake / Finance Data Platform) (Ref. #26332)
Data Engineer (Snowflake / Finance Data Platform) (Ref. #26332)

PROSTAFF Schweiz GmbH • Zürich

On-site
CHF 110,000 - 140,000
Senior Python Backend Architect | Microservices & Kafka
Senior Python Backend Architect | Microservices & Kafka

PROSTAFF Schweiz GmbH • Bern

On-site
CHF 120,000 - 170,000
Data Engineer: Build End-to-End Pipelines & AI
Data Engineer: Build End-to-End Pipelines & AI

Adesso Schweiz AG • Zürich

On-site
CHF 120,000 - 180,000
400+ Trainingsangebote
Team-Events & Weiterentwicklung
Corporate Benefits
Snowflake Data Engineer — Finance Data Platform & Pipelines
Snowflake Data Engineer — Finance Data Platform & Pipelines

PROSTAFF Schweiz GmbH • Zürich

On-site
CHF 90,000 - 135,000
Data Engineer: Real-Time & Scalable Data Pipelines
Data Engineer: Real-Time & Scalable Data Pipelines

JobAdvice Swiss GmbH • Luzern

On-site
CHF 120,000 - 180,000
Data Engineer (Databricks, Snowflake) (Ref. #26339)
Data Engineer (Databricks, Snowflake) (Ref. #26339)

PROSTAFF Schweiz GmbH • Zürich

On-site
CHF 100,000 - 140,000
Senior Plattform-Ingenieur für Realtime-Streaming
Senior Plattform-Ingenieur für Realtime-Streaming

BKW • Bern

On-site
CHF 120,000 - 180,000
Senior DevOps Engineer – Eventstreaming & Kafka, Spring
Senior DevOps Engineer – Eventstreaming & Kafka, Spring

Zürcher Kantonalbank • Zürich

Hybrid
CHF 90,000 - 120,000
Remote Work zwei Tage pro Woche
Flexible Arbeitszeiten
Moderne Infrastruktur und Büro in ZH
+2
Senior Data & AI Platform Lead (Snowflake) – Hybrid
Senior Data & AI Platform Lead (Snowflake) – Hybrid

Valantic • Zürich

Hybrid
CHF 140,000 - 210,000
Homeoffice möglich
Zertifizierungen & Weiterbildung
Zentrales Büro in Zürich
Top locations