AWS/Snowflake Senior Data Engineer (m/w/d)

Devoteam A Cloud Germany; Frankfurt; Vor Ort; EUR 60.000 - 80.000; Vollzeit

Zusammenfassung

Ein führendes Unternehmen im Cloud-Datenbereich sucht einen erfahrenen Data Engineer in Frankfurt, um komplexe und skalierbare Datenarchitekturen zu konzipieren und zu implementieren. Verantwortlichkeiten umfassen die Entwicklung von ELT/ETL-Pipelines sowie die Optimierung von Datenverarbeitungsprozessen mit modernen Technologien wie Snowflake und AWS. Fließende Deutsch- und Englischkenntnisse sind für diese Position unerlässlich.

Qualifikationen

• 4+ Jahre Erfahrung in Data Engineering, ETL/ELT-Entwicklung.
• Nachgewiesene Snowflake-Expertise.
• Programmier-Expertise in Python / Scala / SQL.

Aufgaben

• Konzeption und Implementierung skalierender Data Lake und Data Warehouse Architekturen.
• Entwicklung hochperformanter, fault-toleranter ELT/ETL-Pipelines.
• Optimierung von Datenverarbeitungsworkflows und Query-Performance Tuning.

Kenntnisse

Data Pipeline Engineering

Snowflake Platform Optimization

Performance Engineering

Infrastructure as Code

Fließende Deutsch- und Englischkenntnisse

Ausbildung

4+ Jahre Erfahrung in Data Engineering

Snowflake-Expertise in Data Modeling

Tools

Apache Spark

AWS Services

Terraform

Docker

Jobbeschreibung

Stellenbeschreibung

KEY JOB RESPONSIBILITIES

• Modern Data Platform Architecture : Konzeption und Implementierung skalierender Data Lake und Data Warehouse Architekturen mit AWS Services (Redshift, Glue, EMR, Kinesis) und Snowflake als zentrale Analytics Engine
• Data Pipeline Engineering : Entwicklung hochperformanter, fault-toleranter ELT / ETL-Pipelines mit modernen Frameworks wie Apache Spark, dbt und AWS Step Functions für komplexe Datenverarbeitungsworkflows
• Snowflake Platform Optimization : Design und Implementierung von Snowflake Data Models, Performance-Tuning, Multi-Cluster Warehouses und Advanced Features wie Data Sharing und Secure Data Exchange
• Real-time Analytics Solutions : Implementierung von Streaming Analytics Plattformen mit Kinesis, Kafka und Snowflake Streams für Echtzeit-Datenverarbeitung und Live-Dashboarding
• Data Integration & Migration : Planung und Durchführung komplexer Datenmigrationsprojekte von Legacy-Systemen zu modernen Cloud Data Platforms mit minimaler Ausfallzeit
• DevOps for Data : Aufbau von DataOps-Praktiken mit Infrastructure as Code (Terraform, CloudFormation), CI / CD-Pipelines für Datenverarbeitung und automatisiertem Testing von Data Pipelines
• Performance Engineering : Optimierung von Datenverarbeitungsworkflows, Query-Performance Tuning und Cost Optimization für große Datenvolumen in Cloud-Umgebungen
• Technical Consulting : Beratung von Kunden bei Data Strategy, Technology Selection und Best Practices für moderne Data Governance und Compliance-Anforderungen

A DAY IN THE LIFE

Dein Tag beginnt oft mit einem Review der nächtlichen Data Pipeline Runs und Performance Monitoring Dashboards, um sicherzustellen, dass alle kritischen Datenflüsse erfolgreich ausgeführt wurden. Anschließend führst du ein Stand-up mit deinem Data Engineering Team durch, um den Fortschritt aktueller Implementierungen zu besprechen und eventuelle Issues zu adressieren.

Der Vormittag wird häufig von Technical Deep-Dive Sessions mit Kunden geprägt, in denen du komplexe Datenarchitekturen designst - sei es die Modernisierung eines legacy Data Warehouses oder die Implementierung einer Real-time Analytics Plattform mit Snowflake. Dabei arbeitest du eng mit Data Scientists und Business Analysts zusammen, um sicherzustellen, dass die technische Lösung auch die fachlichen Anforderungen optimal erfüllt.

Nachmittags konzentrierst du dich auf hands-on Development Work : Du entwickelst neue dbt Models, optimierst Spark Jobs für bessere Performance oder implementierst neue Snowflake Features für erweiterte Analytics Use Cases. Ein wichtiger Teil deiner Arbeit ist auch das Code Review und Mentoring von Junior Data Engineers - du teilst deine Expertise in technischen Diskussionen und leitest Workshops zu modernen Data Engineering Patterns.

Den Tag schließt du häufig mit der Arbeit an Innovation Projekten ab, wo du neue AWS Services oder Snowflake Features evaluierst, Proof-of-Concepts für ML-Pipeline Integration entwickelst oder an der Dokumentation von Best Practices und Learnings für das Team arbeitest.

Qualifikationen

BASIC QUALIFICATIONS

• 4+ Jahre Erfahrung in Data Engineering, ETL / ELT-Entwicklung und Datenplattform-Implementierung mit AWS Services
• Nachgewiesene Snowflake-Expertise in Data Modeling, Performance Optimization, Administration und Advanced Features
• Solide AWS Data Services Kenntnisse (Redshift, Glue, EMR, Kinesis, Lambda, S3) und deren Integration in moderne Datenarchitekturen
• Programmier-Expertise in Python / Scala / SQL mit Erfahrung in Spark, dbt oder vergleichbaren Data Processing Frameworks
• Infrastructure as Code Kenntnisse (Terraform, CloudFormation) für automatisierte Deployment von Dateninfrastrukturen
• Ausgezeichnete Kommunikationsfähigkeiten für die Zusammenarbeit mit technischen Teams und Business Stakeholdern
• Fließende Deutsch- und Englischkenntnisse für internationale Kundenprojekte und globale Zusammenarbeit

PREFERRED QUALIFICATIONS

• AWS und Snowflake Zertifizierungen (Data Analytics, Data Engineer, SnowPro Core / Advanced)
• Expertise in Real-time Data Processing mit Kafka, Kinesis oder anderen Streaming Technologien
• Machine Learning Pipeline Erfahrung mit SageMaker, MLflow oder Integration von ML-Models in Datenverarbeitungsworkflows
• Data Governance und Compliance Kenntnisse für regulierte Branchen (GDPR, SOX, HIPAA)
• Container- und Orchestration-Erfahrung (Docker, Kubernetes, ECS) für containerisierte Data Processing Workloads
• Industry-spezifische Datenmodellierungs-Erfahrung in Bereichen wie Financial Services, Retail oder Manufacturing
• Thought Leadership durch Konferenz-Präsentationen über Data Engineering Topics oder Open-Source Beiträge
• Internationale Projekterfahrung mit Multi-Region Data Architectures und globalen Compliance-Anforderungen

Zusätzliche Informationen

Melde Dich bei unserem Recruiting Team

Durch unsere offene Unternehmenskultur legen wir großen Wert darauf, Menschen die Chance zu geben, sich zu bewerben, auch wenn nicht alle spezifischen Fähigkeiten der Stellenbeschreibung erfüllt werden. Wir sind überzeugt, dass jede:r Einzelne durch unsere Unterstützung und ein motiviertes Team sein volles Potenzial entfalten kann.

Wir freuen uns auf Deine Bewerbung!