Data Engineer (F/H/NB )

JR France; Nantes; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise dynamique de Nantes, spécialisée en solutions Big Data, recherche un Data Engineer passionné pour rejoindre son équipe. Vous serez responsable de la conception et du développement de traitements complexes, utilisant des technologies modernes comme Hadoop et Spark. Rejoignez une communauté engagée, innovante et collaborative, et participez à des projets ambitieux au sein d'une entreprise où chacun compte.

Prestations

Espace de travail éco-rénové

Bureaux ergonomiques

Salle de détente

Événements réguliers

Mentorat interne

Qualifications

• Expérience en traitement de données et en gestion de clusters Hadoop.
• Compétences en Java, Spark, et autres technologies Big Data.
• Travail collaboratif et engagement dans une équipe dynamique.

Responsabilités

• Étude et réalisation de traitements Big Data.
• Gestion et optimisation de clusters Hadoop.
• Échange avec équipes techniques pour le développement.

Connaissances

Big Data

Java

Spark

Gestion de données

Apache Hadoop

Kafka

Git

Dataiku

Oozie

Kibana

Outils

Apache Ambari

RabbitMQ

Scala

Teradata

Sqoop

Kudu

Hue

Hive

AWS

Description du poste

Rejoignez Valeuriad, ESN Agile, engagée, 100% Nantaise, organisée sur un mode de management participatif.

Votre rôle en tant que Data Engineer

• Étude, conception et réalisation de traitements Big Data
• Échange avec les architectes, PO, PPO, développeurs et la gouvernance de données
• Exploration des données et des usages avec Impala
• Import de données (SFTP, Kafka, RabbitMQ)
• Alimentation du cluster Hadoop via des composants développés en Java avec Spark sur IntelliJ
• Gestion et surveillance du cluster Hadoop avec Apache Ambari, visualisation des jobs via YarnApplication et flux Oozie
• Collecte de données depuis Teradata avec Sqoop dans Hive
• Transformation des données avec Spark (HDFS, Hive, Kafka, HBase, Phoenix)
• Optimisation des requêtes utilisateurs avec Apache Kudu
• Exposition de données sur Dataiku pour la création de modèles Data Science
• Traitements complexes et volumineux avec Java – Flink
• Gestion de configuration avec Git et GitLab
• Intégration continue avec Jenkins et Sonar
• Lecture de fichiers Parquet depuis S3 sur AWS
• Requêtage de bases de données avec AWS Athena
• Transformation des données et calculs d'indicateurs sous Hive
• Utilisation d’Oozie pour l’ordonnancement des flux
• Visualisation et mesure de la volumétrie de traitements avec Kibana

Technologies utilisées

Hadoop, Apache Ambari, RabbitMQ, Java, Scala, YarnApplication, Teradata, Sqoop, Kudu, Hue, Hive, Impala, Dataiku, Flink, Kafka, Spark, Kibana, Oozie, Git, GitLabCI, Jenkins, AWS.

Notre communauté Data Valeuriad

• Plus de 30 passionnés : Data ingénieurs, Data scientists, Data Analysts, MlOPS
• Mentorat interne : suivis techniques, entretiens, réponses à appels d’offres
• Événements : Apéro tech, Printemps de la tech (DevFest interne), veille collective sur Slack

Valeurs et organisation

• Une entreprise de 180 Valeurieux, où tout le monde se connaît
• Offres de service : DevOps, Data-IA, Conseil Agile
• Valeurs fondamentales : Engagement, Collaboratif, Partage, Authenticité
• Environnement de travail : espace éco-rénové, bureaux ergonomiques, salle de détente, boissons et gourmandises
• Organisation collaborative : innovation, bourse aux rôles, comités RSE, technique, mécénat
• Engagement RSE en interne et avec l’écosystème
• Suivi de carrière personnalisé avec référents RH, Commerce, Technique
• Événements réguliers : séminaire, Noël, afterworks

Intéressé ? Contactez-nous pour en savoir plus, y compris sur le plan technique.