Ingénieur Plateforme Data & DevOps Databricks/AWS

Tecsys Inc.; Montreal (administrative region); Hybrid; CAD 110,000 - 140,000; Full time

Job summary

Tecsys Inc. à Montréal recherche un ingénieur(e) de plateforme de données (DevOps) pour développer et exploiter une plateforme de données infonuagique alimentant nos produits d'analytique et d'IA, basés sur Databricks et AWS.

Le poste est hybride et vous collaborerez avec les équipes TecsysIQ Data & AI pour faire évoluer CI/CD, gérer Terraform et déployer des environnements clients, tout en optimisant les pipelines et l'observabilité des données.

Qualifications

• Expérience pratique avec Databricks et Apache Spark (batch et streaming)
• Maîtrise de Terraform et gestion d'infrastructures infonuagiques sur AWS
• Connaissance pratique de Kubernetes et Helm, ainsi que de la conteneurisation avec Docker
• Maîtrise de Python (PySpark) et/ou Java, ainsi que de solides compétences en SQL pour la validation des données
• Expérience avec les flux de travail basés sur Git et les pipelines CI/CD dans un environnement comportant plusieurs dépôts de code

Responsibilities

• Concevoir, développer et maintenir des tâches et pipelines Databricks, incluant la curation des données, les transformations et les processus de chargement initial en masse
• Développer et exploiter des pipelines de diffusion en continu en temps réel et de capture des changements de données (CDC) à travers les couches d'ingestion et de transformation à l'aide de Spark Structured Streaming
• Développer et faire évoluer les flux de données de bout en bout à travers les couches Bronze, Silver et Gold, en adaptant les pipelines pour gérer de nouvelles sources de données et les changements de schéma au fur et à mesure de la croissance de la plateforme
• Développer et maintenir des composants et frameworks de pipelines réutilisables afin d'intégrer rapidement de nouveaux flux de données
• Optimiser les clusters et les entrepôts SQL Databricks pour améliorer les coûts et les performances, tout en assurant la gestion des catalogues, des schémas et des accès dans différents environnements
• Collaborer avec les développeurs de la plateforme de données, les propriétaires de produits et les parties prenantes d'affaires dans un environnement Agile afin de livrer des produits de données de haute qualité

Skills

Databricks

Apache Spark

Terraform

AWS

Kubernetes

Helm

Docker

Python (PySpark) / Java

SQL

CI/CD & Git

Data quality / ETL/ELT

Observability

Agile

Tools

Terraform

Kubernetes

Helm

Docker

Git

Spark

Job description

Tecsys Inc. à Montréal recherche un ingénieur(e) de plateforme de données (DevOps) pour développer et exploiter une plateforme de données infonuagique alimentant nos produits d'analytique et d'IA, basés sur Databricks et AWS.

Le poste est hybride et vous collaborerez avec les équipes TecsysIQ Data & AI pour faire évoluer CI/CD, gérer Terraform et déployer des environnements clients, tout en optimisant les pipelines et l'observabilité des données.