Data Engineer - Senior Consultant

JAKALA; Paris; Hybrid; EUR 60,000 - 90,000; Full time

Benefits offered by this job

Télétravail possible 2 jours/semaine

Mutuelle d’entreprise

Tickets restaurant 10€

Transports 50% pris en charge

Bureau centre Paris et Caen

Job summary

JAKALA recherche un ingénieur Data/Big Data pour développer et industrialiser des plateformes data destinées à nos clients. Vous travaillerez avec les Data Scientists et Data Engineers en poste, en participant à la conception d’architectures ETL/ELT et à la mise en place de pipelines batch et temps réel.

Le poste exige au moins 3 années d’expérience en Data engineering, une maîtrise des environnements Snowflake/BigQuery et une connaissance des outils tels que Spark, Kafka et Kubernetes.

Qualifications

• 3 ans minimum d'expérience en Data engineering.
• Maîtrise des pipelines de valorisation de données et du traitement massivement parallelisé.
• Anglais professionnel indispensable.
• Certifications Google Cloud, Azure ou AWS appréciées.

Responsibilities

• Contribuer au développement de l’offre Data et industrialiser des plateformes data pour les clients.
• Définir l’architecture ETL/ELT et collaborer avec les équipes Data.
• Concevoir et développer des connecteurs entre sources de données et plateformes.
• Rédiger la documentation technique et partager les bonnes pratiques.

Skills

Python

Java

Spark

DBT

Snowflake

BigQuery

PostgreSQL

Kafka

Kubernetes

Terraform

Data modeling

GCP/AWS/Azure

Education

Diplôme d’ingénieur ou équivalent en informatique / data engineering

Tools

Databricks

Delta Lake

RabbitMQ

Job description

Au sein de notre practice Data & AI, vous travaillez conjointement avec les Data Scientists, Data Engineers, MLE/MLOps engineer déjà en poste et vous êtes impliqué.e dans la prise de décisions liée aux solutions Data et à son évolution.

A cet effet, vous êtes en charge de :

• Contribuer au développement de notre offre Data et à l’industrialisation de plateformes data pour nos clients
• Comprendre, analyser et proposer des solutions techniques répondant aux besoins des Plateformes digitales et des projets internes
• Définir l’architecture logiciel ETL / ELT en collaboration avec vos pairs
• Travailler la donnée sous toutes ses formes (stockage, élaboration de modèles, structuration, nettoyage)
• Rédiger de la documentation technique (diagrammes UML, documentation d’API, …)
• Partager votre savoir-faire entre les différents membres de l’équipe
• Concevoir et développer des connecteurs entre les sources de données (internes et/ou externes) et la plateforme
• Concevoir et développer des pipelines de traitements de données (batch et/ou temps réel) dans un environnement Big Data
• Assurer une veille technologique et savoir mener à bien un projet de R&D

Vous assurez en autonomie les missions suivantes en interne ou auprès de nos clients grands comptes :

• Cartographier des données et des flux de données
• Implémenter des algorithmes d’analyse de données pour l’industrialisation
• Collecter, consolider et modéliser de gros volumes de données (Big Data, Data Warehouses, Data Lakes)
• Développer et automatiser des flux de données et leurs visualisations en dashboards, reporting
• S’assurer de la scalabilité, sécurité, stabilité et disponibilité des données de la plateforme
• Analyser les données web pour répondre aux questions métiers et participer à la construction de l’architecture Big Data
• Mettre en place du séquencement et de la supervision des flux précitées en gérant les cas limites

Compétences attendues :

Bon niveau en développement:

• De script ETL : Python (Pandas, API Rest, FaaS), Java (ex Kafka Connect, SOAP), Spark (PySpark, Databricks, Delta Lake)
• De script ETL : DBT (ex. Snowflake, PostgreSQL)
• Connaissance conception et administration d’entrepôt de données: Snowflake, Big Query, PostgreSQL
• LakeHouse : Delta LakeConnaissance message broker, RabbitMQ, Kafka
• Compétences cloud :Kubernetes,Conteneurisation, Fournisseur cloud (AWS, GCP ou Azure), Infrastructure As Code (Terraform)
• Expérience d’architecture et de dimensionnement d’une architecture cloud via des services managés
• Cartographie des données

Diplômé·e d’études supérieures dans le système d’information, computer sciences, big data (école d’ingénieurs, école spécialisée ou équivalent universitaire), vous justifiez d’au moins 3 ans en Data engineering.Vous avez une expérience significative sur la mise en place de pipelines complets de valorisation de données massives, de la collecte à la mise à disposition d’applications en passant par le traitement.La maîtrise de l’anglais est indispensable.Certification·s appréciée·s : GCP Professionnal Data Engineer OU Azure Data Engineer Associate OU AWS Solution Architect.Vous êtes passionné·e par votre métier et aimez le faire partager.Les avantagesEntreprise en plein développement , véritable tremplin et accélérateur de progressionProjets et missions sur des champs techniques très variésMise en situation de responsabilité rapidementBureau en plein centre de Paris et de CaenTélétravail possible jusqu’à 2 jours par semaineMutuelle d’entreprise50% de frais de participation pour les transportsTicket restaurant d’une valeur de 10€ (50% prise en charge par l’employeur)ContratPoste à pourvoir en CDIRémunération selon profil et expériencePoste ouvert aux personnes en situation de handicap