Senior Python Streaming & Data Engineer (RabbitMQ / Snowflake / PostgreSQL)

Coopers Group AG

Bern

Vor Ort

CHF 150.000 - 195.000

Vollzeit

Vor 9 Tagen

Erhalte eine Antwort von diesem Recruiter

Dein Lebenslauf und dein Anschreiben, genau auf das zugeschnitten, was gesucht wird.

Schaffe es an den ATS-Filtern vorbei

Zusammenfassung

Coopers Group sucht zwei Engineers, die die gesamte Datenverarbeitungskette verantworten und sich auf Python-Streaming-Lösungen konzentrieren. Sie entwickeln RabbitMQ-Consumer, optimieren Concurrency und sorgen für stabile Verarbeitung unter Belastung.

Sie integrieren Datenaufnahme in Snowflake und Snowflake Postgres, implementieren Recovery-, Replay- und Backfill-Prozesse und arbeiten eng mit Data-Ingestion-Engineering sowie Azure DevOps CI/CD.

Qualifikationen

  • Sehr gute praktische Erfahrung in der Python-Entwicklung nachhaltiger Anwendungen.
  • Fundierte Erfahrung mit RabbitMQ, insbesondere Consumer-Entwicklung, Message Processing und Fehlerbehandlung.
  • Praxis in Streaming-Systemen unter realer Last sowie deren Performance-Optimierung.

Aufgaben

  • Entwicklung und Optimierung einer skalierbaren Python-Anwendung zur Verarbeitung von RabbitMQ-Datenströmen.
  • Implementierung und Weiterentwicklung von RabbitMQ-Consumern für produktive Streaming-Umgebungen.
  • Integration und Konfiguration der Datenaufnahme in Snowflake und Snowflake Postgres.
  • Sicherstellung einer zuverlässigen Nachrichtenverarbeitung inklusive Acknowledgements, Redelivery, Backpressure und Deduplizierung.
  • Konzeption und Implementierung robuster Recovery-, Replay- und Backfill-Prozesse.
  • Optimierung von Latenz, Durchsatz sowie CPU- und Speicherverbrauch.
  • Analyse und Behebung von Performance-Engpässen, Lastspitzen und Fehlerfällen.
  • Sicherstellung von Datenvollständigkeit und Datenkonsistenz bei Live- und historischen Daten.
  • Integration von Nachladeprozessen unter Verwendung von Kestra und dlt (dltHub) in Zusammenarbeit mit dem internen Data Ingestion Engineer.
  • Entwicklung automatisierter Tests sowie Durchführung von Performance- und Lasttests.
  • Integration der Lösung in Azure DevOps CI/CD und Implementierung grundlegender Monitoring-Funktionen.
  • Enge Zusammenarbeit mit internen Plattform- und Engineering-Teams sowie Dokumentation und Wissenstransfer

Kenntnisse

Python-Entwicklung
RabbitMQ-Consumer
Streaming-Systeme
Azure DevOps
Datenpipelines
Performance-Optimierung
Concurrency
Datenkonsistenz

Tools

Snowflake
PostgreSQL
Kestra
dltHub
Azure AKS
Kafka
Debezium

Jobbeschreibung

Die zwei Engineers, die gemeinsam die gesamte Datenverarbeitungskette verantworten, ergänzen sich idealerweise mit ihren technischen Schwerpunkten wie folgt:

  • Streaming & Performance: Schwerpunkt auf RabbitMQ-Consumer-Entwicklung, Python Concurrency, Performance-Optimierung und stabiler Verarbeitung unter hoher Last

  • Data Integration & Recovery: Schwerpunkt auf Snowflake/PostgreSQL, zuverlässiger Datenaufnahme sowie Recovery-, Replay- und Backfill-Prozessen

Für beide Schwerpunkte werden praktische Erfahrung mit RabbitMQ und nachweisbare Projekterfahrung in produktiven Umgebungen vorausgesetzt.

Aufgaben:

  • Entwicklung und Optimierung einer skalierbaren Python-Anwendung zur Verarbeitung von RabbitMQ-Datenströmen
  • Implementierung und Weiterentwicklung von RabbitMQ-Consumern für produktive Streaming-Umgebungen
  • Integration und Konfiguration der Datenaufnahme in Snowflake und Snowflake Postgres
  • Sicherstellung einer zuverlässigen Nachrichtenverarbeitung inklusive Acknowledgements, Redelivery, Backpressure und Deduplizierung
  • Konzeption und Implementierung robuster Recovery-, Replay- und Backfill-Prozesse
  • Optimierung von Latenz, Durchsatz sowie CPU- und Speicherverbrauch
  • Analyse und Behebung von Performance-Engpässen, Lastspitzen und Fehlerfällen
  • Sicherstellung von Datenvollständigkeit und Datenkonsistenz bei Live- und historischen Daten
  • Integration von Nachladeprozessen unter Verwendung von Kestra und dlt (dltHub) in Zusammenarbeit mit dem internen Data Ingestion Engineer
  • Entwicklung automatisierter Tests sowie Durchführung von Performance- und Lasttests
  • Integration der Lösung in Azure DevOps CI/CD und Implementierung grundlegender Monitoring-Funktionen
  • Enge Zusammenarbeit mit internen Plattform- und Engineering-Teams sowie Dokumentation und Wissenstransfer

Profil:

  • Sehr gute praktische Erfahrung in der Python-Entwicklung, insbesondere mit langlaufenden produktiven Anwendungen
  • Fundierte Erfahrung mit RabbitMQ, insbesondere Consumer-Entwicklung, Message Processing und Fehlerbehandlung
  • Praktische Erfahrung mit Streaming-Systemen unter realer Last sowie deren Performance-Optimierung
  • Gute Kenntnisse in Snowflake und PostgreSQL, insbesondere im Bereich Data Ingestion und Datenintegration
  • Erfahrung mit Recovery, Replay, Backfill, Deduplizierung und Datenkonsistenz
  • Sehr gutes Verständnis von Acknowledgements, Redelivery, Backpressure und Message Queuing
  • Kenntnisse in Python Concurrency, CPU-/Memory-Profiling und Performance-Optimierung
  • Erfahrung in der Entwicklung und im Betrieb produktionsfähiger Datenpipelines
  • Kenntnisse in automatisierten Tests, CI/CD und Monitoring
  • Erfahrung mit Azure DevOps sowie modernen Entwicklungs- und Deployment-Prozessen
  • Kenntnisse in Azure, AKS, Kestra, dlt, Kafka oder Debezium von Vorteil
  • Selbstständige, strukturierte und lösungsorientierte Arbeitsweise sowie ausgeprägte Teamfähigkeit
  • Erfahrung in der Zusammenarbeit mit internen Plattform-, Entwicklungs- und Betriebsteams
Hol dir deinen kostenlosen, vertraulichen Lebenslauf-Check.

oder ziehe deine Datei hierhin.

Similar jobs

Ähnliche Jobs, die dir auch gefallen könnten

Senior Python Streaming Engineer — RabbitMQ & Snowflake
Senior Python Streaming Engineer — RabbitMQ & Snowflake

Coopers Group AG • Bern

Vor Ort
CHF 150.000 - 195.000
Senior Python Backend Engineer
Senior Python Backend Engineer

PROSTAFF Schweiz GmbH • Bern

Vor Ort
CHF 120.000 - 170.000
Senior Cloud Data Engineer
Senior Cloud Data Engineer

ELCA Informatique SA / ELCA Informatik AG • Bern

Vor Ort
CHF 90.000 - 120.000
Gleitzeit und Homeoffice
Übernahme von Kosten für Mobiltelefone
Top Benefits wie Ferienkauf von bis zu 13 Tagen
Senior Cloud Data Engineer
Senior Cloud Data Engineer

ELCASecurity • Bern

Hybrid
CHF 100.000 - 130.000
Ferienkauf von bis zu 13 Tagen
Flexibles Pensionskassenmodell
Homeoffice Möglichkeit
+2
Senior Cloud Data Engineer
Senior Cloud Data Engineer

ELCA Group • Bern

Hybrid
CHF 130.000 - 180.000
Ferienkauf bis zu 13 Tagen
Mobiltelefon-Beitrag
Halbtax
+3
Senior Cloud Data Engineer
Senior Cloud Data Engineer

ELCA Switzerland and Europe • Bern

Hybrid
CHF 130.000 - 180.000
Gleitzeit
Homeoffice
Weiterbildung
+7
Cloud Data Platform Expert - Azure/Databricks
Cloud Data Platform Expert - Azure/Databricks

ELCA Switzerland and Europe • Bern

Vor Ort
CHF 140.000 - 190.000
Gute Work-Life-Balance
Ferienkauf bis 13 Tage
Halbtax
+3
Professional Data Engineer
Professional Data Engineer

ti&m • Zürich

Vor Ort
CHF 82.448 - 109.930
Cloud Data Platform Expert - Azure/Databricks
Cloud Data Platform Expert - Azure/Databricks

ELCA Group • Zürich

Hybrid
CHF 140.000 - 210.000
Ferienkauf 13 Tage
Mobiltelefon/Business Handy Zuschuss
Halbtax
+3
Senior System Engineer mit Schwerpunkt Kubernetes / OpenShift
Senior System Engineer mit Schwerpunkt Kubernetes / OpenShift

ti&m AG • Bern

Vor Ort
CHF 90.000 - 120.000
Top-Standorte