Ingénieur Plateforme Data & DevOps — Remote

Tecsys; Montreal (administrative region); Hybrid; CAD 90,000 - 150,000; Full time

Job summary

Tecsys recherche un ingénieur de plateforme de données (DevOps) pour développer et exploiter une plateforme de données infonuagique alimentant nos produits d’analytique et d’IA basés sur Databricks et AWS. Poste hybride avec collaboration étroite sur les environnements clients et les pipelines.

Vous gérerez l’infrastructure as code, les pipelines CI/CD et les tâches Databricks/Spark, tout en assurant l’évolutivité et la fiabilité des environnements.

Qualifications

• Databricks et Spark sur pipelines batch et streaming obligatoires.
• Maîtrise de Terraform et gestion d’infrastructures cloud sur AWS.
• Connaissance pratique de Kubernetes, Helm et conteneurisation Docker.
• Maîtrise de Python (PySpark) et/ou Java, et SQL pour validation et dépannage.
• Expérience Git et pipelines CI/CD dans un environnement multi‑dépot.
• Connaissance des concepts ETL/ELT et observabilité des données.
• Expérience en équipes Agile et collaboration avec les développeurs de plateforme et les propriétaires de produit.
• Excellentes capacités d’analyse et de communication.

Responsibilities

• Provisionner et faire évoluer les comptes AWS et Databricks via Terraform dans plusieurs régions et environnements.
• Gérer les chartes Helm et les tâches Kubernetes pour déployer les environnements clients.
• Créer et maintenir des images Docker et des pipelines Java/Maven, publier les artefacts dans les registres internes.
• Intégrer les processus CI/CD et la gestion des versions sur plusieurs dépôts de code.
• Gérer les secrets via les services cloud et Kubernetes sans les stocker dans le code source.
• Concevoir et maintenir les tâches Databricks et pipelines Spark (batch/streaming).
• Évoluer les flux de données Bronze/Silver/Gold et adapter les pipelines au schéma.
• Maintenir des composants réutilisables et optimiser les clusters Databricks et SQL Warehouse.
• Collaborer avec les parties prenantes dans un cadre Agile pour livrer des produits de données de haute qualité.

Skills

Databricks

Apache Spark

Python

Java

SQL

Git

CI/CD

Agile

Data analysis

Problem solving

Tools

Terraform

AWS

Kubernetes

Helm

Docker

PySpark

Job description

Tecsys recherche un ingénieur de plateforme de données (DevOps) pour développer et exploiter une plateforme de données infonuagique alimentant nos produits d’analytique et d’IA basés sur Databricks et AWS. Poste hybride avec collaboration étroite sur les environnements clients et les pipelines.

Vous gérerez l’infrastructure as code, les pipelines CI/CD et les tâches Databricks/Spark, tout en assurant l’évolutivité et la fiabilité des environnements.