(Junior) Cloud Data Engineer (all genders)

DYMATRIX; Hamburg; On-site; EUR 48,000 - 68,000; Full time

Job summary

DYMATRIX sucht eine(n) Junior Data Engineer für Standorte in Stuttgart, Hamburg, München oder Karlsruhe. Du betreibst die technische Umsetzung von Datenverarbeitungsstrecken im Batch- und Realtime-Betrieb und bist Ansprechpartner:in für Kolleg:innen sowie Kunden.

Moderne Cloud-Technologien und KI-gestützte Lösungen bilden den Kern unserer Produkte. Zu deinen Aufgaben gehören die Entwicklung von Azure Functions, Data-Factory-Pipelines und PySpark-ETL-Prozessen, unterstützt durch SQL-Analysen und

Qualifications

• Grundkenntnisse in C#, Python oder PySpark.
• Gute SQL-Kenntnisse für Datenanalyse.
• Verständnis von Cloud-Architekturen und ETL-Design.
• Interesse an Datenmodellierung und ETL-Design.

Responsibilities

• Du entwickelst Azure Functions in .NET (C#) für Datentransformationen in Realtime.
• Du erstellst und pflegst Azure-Data-Factory-Pipelines für automatisierte Datentransfers.
• Du entwickelst Azure-Databricks-Notebooks und setzt PySpark-ETL-Prozesse um.
• Du arbeitest mit SQL für Qualitätssicherung und Performanceoptimierung.

Skills

C#

Python

PySpark

SQL

Cloud-Architekturen

ETL-Design

Tools

Azure SQL Database

Azure Cosmos DB

Data Lake Storage

Azure Data Factory

Azure Databricks

Log Analytics

Key Vault

API Management

Job description

In einem interdisziplinären Projektteam verantwortest Du die technische Umsetzung von Datenverarbeitungsstrecken im Batch- und Realtime-Betrieb. Als Data-Engineering-Expert:in bist Du Ansprechpartner:in für Kolleg:innen und Kunden. Mit modernen Cloud-Technologien und KI-Unterstützung entwickelst Du innovative Lösungen rund um unsere Produkte.

Wir suchen Dich mit und ohne Berufserfahrung, als (Junior) Data Engineer (all genders) für unsere Standorte in Stuttgart, Hamburg, München oder Karlsruhe.

• Azure SQL Database, Azure Cosmos DB und Data Lake Storage
• Weitere Azure-Komponenten wie Log Analytics, Key Vault und API Management
• Unternehmenseigener, OpenAI-basierter KI-Assistent
• Projektverwaltung mit Jira und Confluence

Deine Aufgaben:

• Du entwickelst Azure Functions in .NET (C#), um Datentransformationen in Realtime abzubilden und per REST API bereitzustellen.
• Du erstellst und pflegst Azure-Data-Factory-Pipelines, mit denen Datentransfers automatisiert ablaufen.
• Du entwickelst Azure-Databricks-Notebooks und setzt damit ETL-Prozesse mit PySpark um.
• Du arbeitest mit SQL für Qualitätssicherung, Datenanalysen und gezielte Performanceoptimierung, etwa auf Cosmos DB, Azure SQL DB und Data Lake Storage.
• Du optimierst und verfeinerst Prozesse anhand von Detailanalysen, unter anderem mit Log Analytics.

Das bringst du idealerweise mit:

• Erste Programmierkenntnisse, idealerweise in C#, Python und PySpark
• SQL-Kenntnisse für Datenanalyse und Qualitätssicherung
• Verständnis für Cloud-Architekturen und Datenverarbeitungsprozesse
• Interesse an Datenmodellierung und ETL-Design
• Lust, Dich in Technologien wie Databricks und Data Factory weiterzuentwickeln