DataOps Engineer

ACENSI; Brussel Hoofdstad; On-site; EUR 65,000 - 95,000; Full time

Job summary

ACENSI recherche un DataOps Engineer pour l’un de ses clients du secteur ferroviaire basé à Bruxelles. Vous traduiriez les politiques de gouvernance en architecture DevOps et concevriez les pipelines de données.

Vous maîtrisez Python et SQL (Pandas apprécié), les pratiques CI/CD, Airflow et l’orchestration avec Kubernetes/Docker, ainsi que GitLab/Jira et StarUML. Vous travaillez sur des modèles Kimball et Bronze-Silver-Gold tout en assurant qualité et performance des données.

Qualifications

• Maîtrise des principes CI/CD et Git pour la gestion du code et des pipelines.
• Maîtrise du SQL et du Python (Pandas apprécié) pour manipuler des données.
• Connaissance des modèles de données Kimball et de l’architecture Bronze-Silver-Gold.
• Expérience avec Airflow ou outil équivalent pour l’orchestration des données.
• Gestion et tests qualité des données (unitaires, d’intégration, end-to-end).

Responsibilities

• Traduire les politiques et règles de gouvernance en architecture DevOps et concevoir celle-ci.
• Concevoir et optimiser les pipelines de données et les schémas pour l’analyse.
• Contrôler la qualité des données et des pipelines via des tests.
• Identifier et résoudre les problèmes de performance des flux de données.

Skills

APIs management

Python data manipulation

SQL proficiency

Pandas knowledge

Data pipelines

Data quality testing

Data governance

Kimball modeling

Bronze-Silver-Gold

Airflow orchestration

Kubernetes/OpenShift

Docker

GitLab

Jira

StarUML

Data interoperability

Français/Néerlandais

Tools

Airflow

Jira

StarUML

Kubernetes/OpenShift

Docker

GitLab

Job description

ACENSI est à la recherche d'un DataOps Engineer pour l'un de ses clients dans le secteur ferroviaire basé à Bruxelles:

Activités et principes de planification et d’analyse

• Peut traduire les politiques globales et les règles de gouvernance en une architecture DevOps et concevoir cette dernière

Activités et principes de développement

• Maîtrise des principes du (Clean) Code.
• Maîtrise de la conteneurisation et de l'orchestration des conteneurs.
• Expertise en matière de pratiques CI/CD et de gestion de versions (Git), en veillant à assurer des pratiques de codage faciles à maintenir.
• Connaissance des modèles et des approches appropriés en matière de pipeline de données et capacité à les appliquer de manière ciblée.
• Contrôle et gestion de la qualité du code et des pipelines de données au moyen de tests (unit, integration, end-to-end tests).
• Contrôle et gestion de la qualité des données par le biais de tests de la qualité des données et du nettoyage des données.
• Capacité d’identifier, d’analyser et de résoudre/d’optimiser les problèmes de performance (performance tuning).

Langages de codage, protocoles standard et technologies

• Compétences en matière d’utilisation et de gestion des API.
• Peut aisément utiliser Python pour diverses manipulations de données. La connaissance du logiciel Pandas est un plus.
• Une expérience approfondie de SQL est primordiale.
• Manipulation et traitement de sources de données non structurées et semi-structurées (JSON, XML, etc.).

Disciplines liées aux données

• Applications opérationnelles

Méthodes d'organisation des données

• Connaissance de l'approche Kimball :
  • maîtrise des techniques de modélisation dimensionnelle de Kimball pour l'entreposage de données.
  • peut traduire une demande en dimensions et faits robustes et (ré)utilisables
  • expertise dans la conception de structures de schémas en étoile ou en flocon de neige pour une analyse efficace des données.
• Compétence en matière d’architecture en médaillon pour l'organisation des données :
  • expertise dans la compréhension et l’implémentation de l'architecture Bronze-Silver-Gold pour une organisation efficace des données.
  • compétences en matière de création de cadres permettant l'interopérabilité, l’échange des données et la gouvernance entre diverses sources de données.

• Expérience de l'utilisation d'Airflow ou d'un outil équivalent pour l'orchestration des données
• Expérience de l'utilisation de Jira ou d'un outil équivalent
• Expérience avec StarUML ou un outil équivalent
• Expérience de l'utilisation de Kubernetes/OpenShift ou d'un outil équivalent
• Expérience de l'utilisation de Docker ou d'un outil équivalent
• Expérience de l'utilisation de GitLab ou d'un outil équivalent

Maîtrise parfaite d’une des 2 langues officielles (FR, NL) et bonne connaissance de la seconde (niveau B2).