Data Engineer / ClickHouse (H/F)

Link Consulting; Toulouse; Hybrid; EUR 92,000 - 120,000; Full time

Benefits offered by this job

Télétravail partiel 2-3 jours/semaine

Rémunération 500–650 €/jour

Job summary

Link Consulting, basé à Toulouse, recherche un Data Platform Engineer / Analytics Architect pour piloter la modernization d'une plateforme analytics stratégique et migrer vers ClickHouse.

Vous auditez l'ETL, refactorisez l'architecture Data et assurez la gouvernance et Grafana, avec travail en mode hybride et rémunération 500–650 € par jour.

Qualifications

• Expérience significative de ClickHouse en production.
• Maîtrise du SQL avancé et de la modélisation de données time-series.
• Expérience dans la conception de pipelines d'ingestion de données.
• Bonne maîtrise de Grafana et d'observabilité.
• Connaissance pratique des environnements Kubernetes et Infrastructure as Code.
• Capacité à travailler de façon autonome sur des sujets d'architecture.
• Migration réalisée depuis InfluxDB ou Prometheus ou autre base time-series.
• Maîtrise de dbt et forte autonomie.
• Esprit d'analyse et capacité de décision, approche pragmatique.

Responsibilities

• Concevoir le nouveau modèle de données et les stratégies de partitionnement et de rétention.
• Piloter la migration vers ClickHouse sans interruption de service et assurer performance et scalabilité.
• Auditer l'ETL existant et optimiser les flux d'ingestion et de transformation.
• Mettre en place gouvernance et qualité des données, documenter les composants.
• Migrer les dashboards existants et développer de nouveaux dashboards adaptés.
• Accompagner les équipes, rédiger la documentation technique et transférer les compétences.

Skills

Data

ClickHouse

SQL avancé

Modélisation time-series

Kafka

Vector

Telegraf

ETL/ELT

Visualisation

Grafana

Infrastructure

Kubernetes

Infrastructure as Code

Cloud

dbt

InfluxDB

Prometheus

Tools

ClickHouse

Grafana

Kubernetes

dbt

InfluxDB

Prometheus

Vector

Job description

Dans le cadre du développement d'une société innovante spécialisée dans les solutions SaaS dans l'industrie, nous recherchons un Data Platform Engineer / Analytics Architect capable de piloter la modernisation complète d'une plateforme analytics stratégique.

Basée à Toulouse, cette entreprise développe des solutions permettant de digitaliser les opérations industrielles, automatiser les tests complexes et exploiter les données de production afin d'améliorer la qualité, les coûts et les délais de développement de systèmes critiques.

Vous prendrez la responsabilité de la refonte d'une plateforme de données exploitant plusieurs années d'historique industriel.

Vos missions:

Migration vers ClickHouse

• Concevoir le nouveau modèle de données.
• Définir les stratégies de partitionnement et de rétention.
• Sélectionner les moteurs adaptés (MergeTree, ReplicatedMergeTree, etc.).
• Mettre en œuvre les Materialized Views.
• Organiser la migration depuis InfluxDB sans interruption de service.
• Garantir la performance et la scalabilité de la plateforme.

Refonte de l'architecture Data

• Auditer l'ETL existant.
• Identifier les composants à conserver, simplifier ou remplacer.
• Mettre en place une architecture pérenne et maintenable.
• Optimiser les flux d'ingestion et de transformation.

Gouvernance et qualité des données

• Cartographier les différentes sources de données.
• Définir les règles de qualité et de conservation.
• Produire la documentation technique associée.
• Mettre en place les bonnes pratiques de gestion des données.

Grafana & Observabilité

• Migrer les tableaux de bord existants.
• Créer de nouveaux dashboards adaptés aux besoins métiers.
• Optimiser les requêtes et la visualisation des données.
• Déployer l'alerting et le provisioning as code.

Accompagnement des équipes

• Formaliser les choix d'architecture.
• Rédiger la documentation technique.
• Assurer le transfert de compétences auprès des équipes internes.

Les compétences techniques

Data, ClickHouse, SQL avancé, Modélisation de données temporelles, Kafka, Vector, Telegraf, ETL / ELT, Visualisation, Grafana, Infrastructure, Kubernetes, Infrastructure as Code, Cloud, dbt, InfluxDB, Prometheus

Votre profil : Expérience significative de ClickHouse en environnement de production. Maîtrise du SQL avancé et de la modélisation de données time-series. Expérience dans la conception de pipelines d'ingestion de données. Bonne maîtrise de Grafana. Connaissance pratique des environnements Kubernetes et Infrastructure as Code. Capacité à travailler de manière autonome sur des sujets d'architecture. Migration réalisée depuis InfluxDB, Prometheus ou une autre base time-series. Maîtrise de dbt. Forte autonomie. Esprit d'analyse et capacité de décision. Approche pragmatique de l'architecture. Excellent niveau de communication technique. Capacité à collaborer avec des équipes Infrastructure, DevOps et Produit.

Conditions de télétravail : 2 jà 3 ours de télétravail par semaine

Conditions financières : 500€/jour - 650€/jour (selon expérience)