Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg) (IT) / Freelance

Intuition IT Solutions Ltd.; Vélizy-Villacoublay; Presencial; EUR 70.000 - 110.000; Jornada completa

Descripción de la vacante

Intuition IT Solutions Ltd. recherche un Consultant Architecte Data LakeHouse à Vélizy (78) pour une mission longue durée dans un contexte Big Data & Cloud.

Vous contribuerez à la définition et au déploiement de l’architecture Data LakeHouse, à la conception de pipelines ETL en Python et PySpark, et à la gestion des données avec Iceberg sur Cloudera. Vous travaillerez en étroite collaboration avec les Data Scientists, Data Analysts et les équipes Juridique et Recherche pour garantir qualité,

Formación

• Expérience en ingénierie des données et architecture Data LakeHouse.
• Maîtrise de Python et PySpark pour les pipelines.
• Connaissance de Cloudera et Apache Iceberg.
• Connaissance RGPD et conformité données.

Responsabilidades

• Conception et évolution de l’architecture Data LakeHouse sur une plateforme hybride Cloudera.
• Conception et optimisation de pipelines ETL en Python et PySpark.
• Gestion des tables Apache Iceberg et structuration des jeux de données.
• Migration et interopérabilité pour le projet PRM.
• Modélisation de données réutilisables et non redondantes.
• Qualité et gouvernance des données selon les normes du domaine.
• Respect RGPD et sécurité des données, et collaboration avec équipes transverses.

Conocimientos

Python

PySpark

Data architecture

Data modeling

Herramientas

Cloudera

Apache Iceberg

ETL pipelines

Descripción del empleo

Nous recherchons Consultant Architecte Data LakeHouse (Python, Cloudera, Iceberg) pour une mission de longue durée à Vélizy dans le 78.

Au sein de la Data Factory, vous interviendrez sur des problématiques de conception d'architecture Data, d'ingénierie des données et d'intégration de jeux de données dans un environnement Big Data & Cloud.

En tant que Data Engineer Big Data & Cloud, avec une dimension Data Architecture, vous contribuerez à la conception, au développement et à l'évolution de l'architecture Data LakeHouse (DLH), ainsi qu'à la préparation et à l'intégration des données nécessaires au projet PRM.

Vos principales responsabilités

Dans ce contexte, vos missions seront notamment les suivantes :

• Architecture Data : participer à la conception, à la mise en œuvre et à l'évolution de l'architecture Data LakeHouse sur une plateforme Data hybride basée sur Cloudera.

• Ingénierie des données : concevoir, développer et optimiser des pipelines ETL en Python et PySpark pour assurer la transformation, la préparation et l'intégration des données.

• Gestion des données : mettre en œuvre et exploiter des tables Apache Iceberg afin de garantir une gestion performante et structurée des jeux de données.

• Migration et interopérabilité : faire évoluer les systèmes de données existants pour assurer leur compatibilité avec le projet PRM et faciliter leur migration.

• Modélisation des données : définir et maintenir des modèles de données réutilisables, cohérents et optimisés, en privilégiant la non-redondance et l'unicité des définitions.

• Qualité et gouvernance des données : garantir la qualité, la cohérence et la fiabilité des données intégrées, dans le respect des normes et bonnes pratiques d'ingénierie des données.

• Sécurité et conformité : intégrer les exigences de sécurité, de conformité réglementaire (notamment RGPD et réglementation applicable aux données et à l'intelligence artificielle) ainsi que les enjeux de propriété intellectuelle, y compris pour les données provenant de fournisseurs tiers.

• Collaboration transverse : travailler en étroite collaboration avec les architectes applicatifs et techniques, les Data Scientists, les Data Analysts ainsi que les équipes Juridique et Recherche pour valider les modèles et les contenus de données produits.