Data Engineer H/F

API TECH; Houdemont; Sur place; EUR 40 000 - 70 000; Plein temps

Résumé du poste

Une entreprise dynamique dans le secteur de l'automatisation recherche un Data Engineer talentueux pour concevoir et maintenir des infrastructures de données. Vous jouerez un rôle clé en garantissant l'accessibilité et la qualité des données pour les équipes d'analyse et de développement. Avec des compétences en Python, SQL et des outils ETL, vous serez responsable de la création de pipelines de données robustes et de l'optimisation des systèmes de stockage. Si vous êtes passionné par les données et souhaitez contribuer à des projets innovants, cette opportunité est faite pour vous.

Qualifications

• Expérience en conception et développement de pipelines ETL.
• Compétences en gestion et optimisation de bases de données.

Responsabilités

• Conception et développement de pipelines de données ETL.
• Gestion des bases de données relationnelles et NoSQL.

Connaissances

Python

Java

Scala

SQL

NoSQL

ETL (NiFi, Talend, Informatica)

Hadoop

Spark

Kafka

AWS

GCP

Azure

Formation

BAC+3/5 en Informatique

Ingénierie de la donnée

Mathématiques

Outils

MySQL

PostgreSQL

MongoDB

Cassandra

Parquet

Description du poste

Description du poste

Responsabilités : En tant que Data Engineer, vous serez responsable de la conception, de la construction et de la maintenance des infrastructures de données, surtout en l'absence d'un data architect. Vous veillerez à ce que les données soient facilement accessibles, de haute qualité et bien organisées pour répondre aux besoins des équipes d'analyse, des data scientists, ainsi qu'aux exigences transversales du groupe et de ses filiales. Vos missions :

1. Conception et développement des pipelines de données : Construire et maintenir des pipelines ETL (Extract, Transform, Load). Intégrer des données provenant de diverses sources (BDD, API, fichiers, etc).
2. Gestion des bases de données : Configurer et gérer les bases relationnelles et NoSQL. Assurer l'optimisation et la performance des systèmes de stockage de données.
3. Qualité et intégrité des données : Mettre en place des processus pour garantir la qualité, la cohérence et l'intégrité des données. Automatiser les processus de nettoyage et de transformation des données.
4. Collaboration avec les équipes : Travailler en étroite collaboration avec les Data Scientists et Analysts pour comprendre leurs besoins en données. Supporter les équipes de développement en fournissant des solutions de gestion de données efficaces.
5. Support : Surveiller les flux de données et résoudre les problèmes techniques. Maintenir et documenter les flux et l'infrastructure des données.

Profil recherché

Diplôme : BAC+3/5 en Informatique, Ingénierie de la donnée, Mathématiques ou domaine connexe.

Compétences techniques :

• Python, Java, Scala
• Systèmes de gestion des BDD (SQL, NoSQL) : MySQL, PostgreSQL, MongoDB, Cassandra, Parquet
• Outils d'ETL : NiFi, Talend, Informatica, etc
• Big Data : Hadoop, Spark, Kafka
• Cloud : AWS, GCP, Azure

Compétences analytiques : Capacité à comprendre et manipuler des ensembles de données complexes. Résolution de problèmes et optimisation des flux de données.

Compétences en communication : Excellentes compétences orale et écrite. Capacité à travailler en équipe et à collaborer avec des parties prenantes non techniques.

Organisation : Gestion de projet, gestion des priorités, attention aux détails.

Qualités personnelles : Curiosité, désir d'apprendre, esprit analytique, rigueur, autonomie, adaptabilité.

Profil souhaité

Expérience exigée.

Informations complémentaires

Niveau hiérarchique : Non spécifié.

Type d’emploi : Non spécifié.

Fonction : Technologies de l’information.

Secteur : Fabrication de machines d’automatisation.