Senior Data Platform Engineer

Hirebuddy; Wien; Hybrid; EUR 70,000 - 90,000; Full time

Benefits offered by this job

Essenszuschuss

Getränke und Obst

Job summary

Hirebuddy sucht eine/n erfahrene/n Linux-Systemadministrator/in mit Fokus auf Big-Data in der AWS-Cloud. Sie betreiben, überwachen und optimieren eine cloudbasierte Datenplattform und unterstützen Entwickler*innen durch 3rd-Level-Support sowie Bereitschaftsdienst.

Sie arbeiten hybrid in Wien, erhalten persönliche Weiterbildungsangebote und profitieren von Essenszuschuss, Getränken, Obst sowie betrieblicher Gesundheitsvorsorge.

Qualifications

• Fundierte Linux- und Hadoop-Ökosystem-Kenntnisse (HDFS, Zookeeper, Yarn, Impala, Spark, Kafka)
• Erfahrung mit Automatisierungstools wie Terraform
• Programmierkenntnisse in Spark, Python und idealerweise Kenntnisse von Cloudera-Diensten (Hue, Knox, Ranger, Streams Messaging Manager, NiFi, Kudu)

Responsibilities

• Administration, Überwachung und Optimierung einer Big-Data-Plattform in AWS
• Verwaltung und Wartung von Cloudera On-Cloud-PaaS-Diensten und AWS-nativen Technologien (Kafka, Flink, NiFi, Iceberg Tables, DynamoDB)
• Bereitstellung und Automatisierung von Infrastruktur in AWS mit Terraform und ArgoCD
• Durchführung von Updates, Upgrades und Incident-Management für Plattformkomponenten
• Beratung von Entwickler:innen bei der Auswahl geeigneter Services für Geschäftsanwendungsfälle
• Bereitstellung von 3rd-Level-Support, inklusive Fehleranalyse, Troubleshooting und Bereitschaftsdienst
• Optimierung von Workloads (z. B. Flink-Job-Speicherverwaltung, Impala/Trino-Abfragoptimierung)
• Bewertung und Implementierung cloud-nativer Dienste im Einklang mit der Systemarchitektur

Skills

Linux-Kenntnisse

Kafka

Spark

Python

Kubernetes-Erfahrung

Tools

Terraform

ArgoCD

NiFi

Cloudera-Dienste

Job description

Werde Teil eines modernen Softwareunternehmens, das eine cloudbasierte Datenplattform betreibt, und übernimm Verantwortung für die Administration, Überwachung und Optimierung einer Big-Data-Umgebung in AWS. Du arbeitest mit modernsten Technologien wie Kafka, Flink, NiFi und DynamoDB und sorgst durch 3rd-Level-Support und Bereitschaftsdienst für hohe Verfügbarkeit.

Deine Aufgaben:

• Administration, Überwachung und Optimierung einer Big-Data-Plattform in der AWS-Cloud
• Verwaltung und Wartung von Cloudera On-Cloud-PaaS-Diensten und AWS-nativen Technologien (z. B. Kafka, Flink, NiFi, Iceberg Tables, DynamoDB)
• Bereitstellung und Automatisierung von Infrastruktur in AWS mit Terraform und ArgoCD
• Durchführung von Updates, Upgrades und Incident-Management für Plattformkomponenten
• Beratung von Entwickler:innen bei der Auswahl geeigneter Services für Geschäftsanwendungsfälle
• Bereitstellung von 3rd-Level-Support, inklusive Fehleranalyse, Troubleshooting und Bereitschaftsdienst zur Gewährleistung der Systemverfügbarkeit
• Optimierung von Workloads (z. B. Flink-Job-Speicherverwaltung, Impala/Trino-Abfragoptimierung)
• Bewertung und Implementierung cloud-nativer Dienste im Einklang mit der Systemarchitektur

Dein Profil:

• Fundierte Linux- und Hadoop-Ökosystem-Kenntnisse (HDFS, Zookeeper, Yarn, Impala, Spark, Kafka)
• Erfahrung mit Automatisierungstools wie Terraform
• Programmierkenntnisse in Spark, Python und idealerweise Kenntnisse von Cloudera-Diensten (z. B. Hue, Knox, Ranger RAZ, Streams Messaging Manager, NiFi, Kudu)
• Erfahrung mit Bereitschaftsdienst, Troubleshooting und Rolling Restarts sind von Vorteil
• Kubernetes-Erfahrung ist ein großer Pluspunkt
• Teamplayer-Mentalität

Was dich erwartet:

• Hybrides Arbeitsmodell mit flexiblen Arbeitszeiten
• Persönliche Schulungs- und Entwicklungsmöglichkeiten
• Arbeit mit modernen Cloud- und Big-Data-Technologien in einem kollaborativen Umfeld
• Essenszuschuss, kostenlose Getränke und Obst
• Gesundheitsinitiativen und betriebliche Altersvorsorge
• Teamevents und professioneller Austausch in Engineering-Communities
• Gute Verkehrsanbindungen, Parkmöglichkeiten und Unterstützung bei Umzügen, falls zutreffend