Data Engineer Confirmé.e

Jakala; Caen; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise de données et AI recrute un spécialiste pour le développement de solutions Data. Le candidat idéal sera responsable de l'industrialisation des plateformes de données, de la mise en œuvre d'analyses avancées et de l'architecture cloud. Les compétences recherchées incluent une solide expérience en ETL, des connaissances sur des outils comme Python et Snowflake, ainsi qu'une familiarité avec le cloud computing. Ce poste à plein temps offre l'opportunité de travailler sur des projets innovants.

Qualifications

• Bon niveau en développement de scripts ETL, surtout Python, Java et Spark.
• Connaissance en conception d'entrepôts de données et en cloud computing.
• Expérience avec des architectures cloud via des services managés.

Responsabilités

• Contribuer au développement de plateformes de données.
• Cartographier des données et flux de données.
• Implémenter des algorithmes d'analyse de données.

Connaissances

Python

DBT

Snowflake

Kubernetes

Apache Kafka

Data Warehouse

Big Data

Terraform

Outils

Databricks

PostgreSQL

AWS

GCP

Azure

Description du poste

Overview

Au sein de notre practice Data & AI tu travailles conjointement avec les Data Scientists Data Engineers MLE / MLOps engineer déjà en poste et tu es impliqué.e dans la prise de décisions liée aux solutions Data et à son évolution.

A cet effet tu es en charge de :

• Contribuer au développement de notre offre Data et à lindustrialisation de plateformes data pour nos clients
• Comprendre analyser et proposer des solutions techniques répondant aux besoins des Plateformes digitales et des projets internes
• Définir larchitecture logiciel ETL / ELT en collaboration avec vos pairs
• Travailler la donnée sous toutes ses formes (stockage élaboration de modèles structuration nettoyage)
• Rédiger de la documentation technique (diagrammes UML documentation dAPI)
• Partager votre savoir-faire entre les différents membres de léquipe
• Concevoir et développer des connecteurs entre les sources de données (internes et / ou externes) et la plateforme
• Concevoir et développer des pipelines de traitements de données (batch et / ou temps réel) dans un environnement Big Data
• Assurer une veille technologique et savoir mener à bien un projet de R&D

Tu assures en autonomie les missions suivantes en interne ou auprès de nos clients grands comptes :

• Cartographier des données et des flux de données
• Implémenter des algorithmes danalyse de données pour lindustrialisation
• Collecter consolider et modéliser de gros volumes de données (Big Data Data Warehouses Data Lakes)
• Développer et automatiser des flux de données et leurs visualisations en dashboards reporting
• Sassurer de la scalabilité sécurité stabilité et disponibilité des données de la plateforme
• Analyser les données web pour répondre aux questions métiers et participer à la construction de larchitecture Big Data
• Mettre en place du séquencement et de la supervision des flux précitées en gérant les cas limites

Compétences attendues

• Bon niveau en développement :
• De script ETL : Python (Pandas API Rest FaaS) Java (ex Kafka Connect SOAP) Spark (PySpark Databricks Delta Lake)
• De script ETL : DBT (ex. Snowflake PostgreSQL)
• Connaissance conception et administration dentrepôt de données : Snowflake Big Query PostgreSQL
• LakeHouse : Delta LakeConnaissance message broker RabbitMQ Kafka
• Compétences cloud : KubernetesConteneurisation Fournisseur cloud (AWS GCP ou Azure) Infrastructure As Code (Terraform)
• Expérience darchitecture et de dimensionnement dune architecture cloud via des services managés
• Cartographie des données
• Key Skills
• Apache Hive,S3,Hadoop,Redshift,Spark,AWS,Apache Pig,NoSQL,Big Data,Data Warehouse,Kafka,Scala
• Employment Type : Full-Time
• Experience : years
• Vacancy : 1