(Junior) Cloud Data Engineer (all genders)

DYMATRIX; Allemagne; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

DYMATRIX in Deutschland sucht einen Junior Data Engineer (all genders) zur Umsetzung von Datenverarbeitungsstrecken im Batch- und Realtime-Betrieb. Du bist Ansprechpartner:in für Kolleginnen, Kollegen und Kunden und arbeitest mit modernen Cloud-Technologien sowie KI-Unterstützung.

Du unterstützt das Team an Standorten Köln, Stuttgart oder Hamburg und entwickelst Lösungen rund um unsere Produkte, inkl. Azure-Datenpipeline, PySpark-ETL und SQL-Analysen.

Qualifications

• Grundkenntnisse in C#, Python oder PySpark.
• SQL-Kenntnisse für Analysen und Qualitätssicherung.
• Verständnis von Cloud-Architekturen und Datenverarbeitungsprozessen.
• Interesse an Datenmodellierung und ETL-Design.
• Bereitschaft, sich mit Databricks und Data Factory weiterzuentwickeln.

Responsabilités

• Du entwickelst Azure Functions in .NET (C#) zur Echtzeit-Datentransformation und Bereitstellung via REST API.
• Du erstellst und pflegst Azure-Data-Factory-Pipelines für automatisierte Datentransfers.
• Du entwickelst Databricks-Notebooks für ETL-Prozesse mit PySpark.
• Du arbeitest mit SQL für Qualitätssicherung, Analysen und Performance-Optimierung.
• Du optimierst Prozesse anhand von Detailanalysen, z. B. mit Log Analytics.

Connaissances

C#

Python

PySpark

SQL

Cloud-Architektur

Outils

Azure Functions

Azure Data Factory

Azure Databricks

Cosmos DB

Data Lake Storage

Log Analytics

Key Vault

Jira

Confluence

Description du poste

In einem interdisziplinären Projektteam verantwortest Du die technische Umsetzung von Datenverarbeitungsstrecken im Batch- und Realtime-Betrieb. Als Data-Engineering-Expert:in bist Du Ansprechpartner:in für Kolleg:innen und Kunden. Mit modernen Cloud-Technologien und KI-Unterstützung entwickelst Du innovative Lösungen rund um unsere Produkte.

Wir suchen Dich mit und ohne Berufserfahrung, als (Junior) Data Engineer (all genders) für unsere Standorte in Köln, Stuttgart oder Hamburg.

• Azure SQL Database, Azure Cosmos DB und Data Lake Storage
• Weitere Azure-Komponenten wie Log Analytics, Key Vault und API Management
• Unternehmenseigener, OpenAI-basierter KI-Assistent
• Projektverwaltung mit Jira und Confluence

Deine Aufgaben:

• Du entwickelst Azure Functions in .NET (C#), um Datentransformationen in Realtime abzubilden und per REST API bereitzustellen.
• Du erstellst und pflegst Azure-Data-Factory-Pipelines, mit denen Datentransfers automatisiert ablaufen.
• Du entwickelst Azure-Databricks-Notebooks und setzt damit ETL-Prozesse mit PySpark um.
• Du arbeitest mit SQL für Qualitätssicherung, Datenanalysen und gezielte Performanceoptimierung, etwa auf Cosmos DB, Azure SQL DB und Data Lake Storage.
• Du optimierst und verfeinerst Prozesse anhand von Detailanalysen, unter anderem mit Log Analytics.

Das bringst du idealerweise mit:

• Erste Programmierkenntnisse, idealerweise in C#, Python und PySpark
• SQL-Kenntnisse für Datenanalyse und Qualitätssicherung
• Verständnis für Cloud-Architekturen und Datenverarbeitungsprozesse
• Interesse an Datenmodellierung und ETL-Design
• Lust, Dich in Technologien wie Databricks und Data Factory weiterzuentwickeln