Architecte Data LakeHouse | Data Engineer Big Data & Cloud

Intuition IT Solutions Ltd.; Vélizy-Villacoublay; On-site; EUR 70,000 - 110,000; Full time

Job summary

Intuition IT Solutions Ltd. recherche un Consultant Architecte Data LakeHouse à Vélizy (78) pour une mission longue durée dans un contexte Big Data & Cloud.

Vous contribuerez à la définition et au déploiement de l’architecture Data LakeHouse, à la conception de pipelines ETL en Python et PySpark, et à la gestion des données avec Iceberg sur Cloudera. Vous travaillerez en étroite collaboration avec les Data Scientists, Data Analysts et les équipes Juridique et Recherche pour garantir qualité,

Qualifications

• Expérience en ingénierie des données et architecture Data LakeHouse.
• Maîtrise de Python et PySpark pour les pipelines.
• Connaissance de Cloudera et Apache Iceberg.
• Connaissance RGPD et conformité données.

Responsibilities

• Conception et évolution de l’architecture Data LakeHouse sur une plateforme hybride Cloudera.
• Conception et optimisation de pipelines ETL en Python et PySpark.
• Gestion des tables Apache Iceberg et structuration des jeux de données.
• Migration et interopérabilité pour le projet PRM.
• Modélisation de données réutilisables et non redondantes.
• Qualité et gouvernance des données selon les normes du domaine.
• Respect RGPD et sécurité des données, et collaboration avec équipes transverses.

Skills

Python

PySpark

Data architecture

Data modeling

Tools

Cloudera

Apache Iceberg

ETL pipelines

Job description

Intuition IT Solutions Ltd. recherche un Consultant Architecte Data LakeHouse à Vélizy (78) pour une mission longue durée dans un contexte Big Data & Cloud.

Vous contribuerez à la définition et au déploiement de l’architecture Data LakeHouse, à la conception de pipelines ETL en Python et PySpark, et à la gestion des données avec Iceberg sur Cloudera. Vous travaillerez en étroite collaboration avec les Data Scientists, Data Analysts et les équipes Juridique et Recherche pour garantir qualité,