Lead Data Engineer – Pipelines et IA (Hybride)

Co-operators Assurance et services financiers; Burlington; Hybrid; CAD 110,000 - 140,000; Full time

Benefits offered by this job

Formation et perfectionnement

Horaire flexible

Culture d’entreprise vivante et souten

Job summary

CAGC recherche un spécialiste principal en ingénierie de données pour concevoir, développer et optimiser des solutions de données d’entreprise. Vous garantirez la fiabilité des pipelines, des API et des solutions d’analyse, tout en guidant les collègues juniors et en fournissant des données de grande qualité pour supporter la prise de décision.

Le poste exige une autonomie élevée et une collaboration avec des partenaires internes et externes, avec une expérience en cloud, Python, Databricks et

Qualifications

• Exigence d’autonomie pour gérer des pipelines de données complexes.
• Capacité à concevoir et maintenir un modèle de données physique et logique.
• Maîtrise des outils d’ingénierie des données et du traitement en cloud.

Responsibilities

• Concevoir, développer et optimiser des produits et solutions de données d’entreprise.
• Garantir la fiabilité et la performance des pipelines, des API et des solutions d’analyse.
• Travailler avec les partenaires pour fournir des données de haute qualité pour l’analyse et les décisions.
• Contribuer à des cadres réutilisables et à l’automatisation via IA et pipelines CI/CD.
• Livrer un code prêt pour la production avec réduction de la dette technique.

Skills

Python

SQL

Data Modeling

ETL

CI/CD

Gestion de données

Education

Diplôme en informatique ou domaine connexe

Tools

Azure

Azure Data Lake Storage (ADLS)

Azure Synapse

Databricks

PySpark

API REST

OpenAI API

Python (libs pandas/polars)

Terraform

GitHub / CI/CD pipelines

Job description

CAGC recherche un spécialiste principal en ingénierie de données pour concevoir, développer et optimiser des solutions de données d’entreprise. Vous garantirez la fiabilité des pipelines, des API et des solutions d’analyse, tout en guidant les collègues juniors et en fournissant des données de grande qualité pour supporter la prise de décision.

Le poste exige une autonomie élevée et une collaboration avec des partenaires internes et externes, avec une expérience en cloud, Python, Databricks et