Data Engineer (m/f/d)

Skilled

Deutschland

Remote

EUR 60,000 - 90,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Homeoffice

Jobticket

E-Bike

Jährliches Schulungsbudget

Team-Events

Job summary

Skilled GmbH in Deutschland sucht eine/n Data Engineer zur Entwicklung umfangreicher ETL-Prozesse im Big Data Umfeld. Du integrierst Daten aus Quellsystemen in einen Data Lake mit Hadoop/Spark, Hive, Kafka, Databricks oder HDFS.

Du nutzt Hadoop bzw. Cloud-Lösungen (AWS/Azure/Google Cloud) für Speicherung und Verwaltung, implementierst automatisierte Tests und treibst standardisierte Entwicklungsprozesse voran.

Qualifications

Abgeschlossenes Studium der (Wirtschafts-) Informatik, Mathematik bzw. einem anderen naturwissenschaftlichen Studienzweig oder eine vergleichbare technische Ausbildung
Analytische, strukturierte und selbständige Arbeitsweise
Mehrjährige Erfahrungen in der Programmierung mit Python, Scala, Java oder einer vergleichbaren Programmiersprache
Gute Kenntnisse im Umgang mit Datenbanken (zb. SQL, NoSQL, usw…)
Erste Praxiserfahrung in ETL-Tools und Cloud-Lösungen (AWS, Azure, Google Cloud)
Verständnis von Microservices und Data Modelling
Ausgeprägtes Interesse für IT-Technologien und die Consulting Branche
Erfahrung in Monitoring- und Automatisierungstools (z.B. Ansible) sowie Big Data Streaming (z.B. Apache Kafka Ecosystem) wünschenswert
Fließende Deutsch- und Englischkenntnisse
Weiterbildung: Du hast ein flexibles Budget von bis zu 3000€ pro Jahr für deine Weiterbildung

Responsibilities

Du entwickelst im agilen Team umfangreiche ETL-Prozesse im Big Data Umfeld gemäß den Anforderungen des Kunden und koordinierst dabei die benötigte Zusammenarbeit mit allen Beteiligten.
Du integrierst Daten aus unterschiedlichen Quellsystemen in einen Data Lake mit Hilfe von gängigen Werkzeugen wie zb. Hadoop, Spark, Hive, Kafka, Databricks oder HDFS
Für die effiziente Speicherung und Verwaltung der Informationsflut nutzt Du entweder Frameworks wie Hadoop oder Cloud-Services wie AWS, Azure oder Google Cloud.
Darüber hinaus implementierst du automatisierte Testfälle und bringst standardisierte Entwicklungsprozesse voran
Du arbeitest technische Lösungsvorschläge eigenständig aus und kommunizierst sie zielgruppengerecht.

Skills

Python

Scala/Java

SQL/NoSQL

ETL

Big Data

Cloud (AWS/Azure/GCP)

Kafka

Data Modelling

Deutsch & Englisch

Education

Abgeschlossenes Studium der Informatik/Mathematik oder vergleichbare technische Ausbildung

Tools

Hadoop

Spark

Hive

Kafka

Databricks

HDFS

AWS/Azure/Google Cloud

Ansible

Job description

Was erwartet dich?

Du entwickelst im agilen Team umfangreiche ETL-Prozesse im Big Data Umfeld gemäß den Anforderungen des Kunden und koordinierst dabei die benötigte Zusammenarbeit mit allen Beteiligten.

Du integrierst Daten aus unterschiedlichen Quellsystemen in einen Data Lake mit Hilfe von gängigen Werkzeugen wie zb. Hadoop, Spark, Hive, Kafka, Databricks oder HDFS

Für die effiziente Speicherung und Verwaltung der Informationsflut nutzt Du entweder Frameworks wie Hadoop oder Cloud-Services wie AWS, Azure oder Google Cloud.

Darüber hinaus implementierst du automatisierte Testfälle und bringst standardisierte Entwicklungsprozesse voran

Du arbeitest technische Lösungsvorschläge eigenständig aus und kommunizierst sie zielgruppengerecht.

Was bringst du mit?

Abgeschlossenes Studium der (Wirtschafts-) Informatik, Mathematik bzw. einem anderen naturwissenschaftlichen Studienzweig oder eine vergleichbare technische Ausbildung
Analytische, strukturierte und selbständige Arbeitsweise
Mehrjährige Erfahrungen in der Programmierung mit Python, Scala, Java oder einer vergleichbaren Programmiersprache
Gute Kenntnisse im Umgang mit Datenbanken (zb. SQL, NoSQL, usw…)
Erste Praxiserfahrung in ETL-Tools und Cloud-Lösungen (AWS, Azure, Google Cloud)
Verständnis von Microservices und Data Modelling
Ausgeprägtes Interesse für IT-Technologien und die Consulting Branche
Erfahrung in Monitoring- und Automatisierungstools (z.B. Ansible) sowie Big Data Streaming (z.B. Apache Kafka Ecosystem) wünschenswert
Fließende Deutsch- und Englischkenntnisse
Weiterbildung: Du hast ein flexibles Budget von bis zu 3000€ pro Jahr für deine Weiterbildung zur Verfügung

Arbeitnehmer Benefits