Senior Data Architect

Intelli5; Montreal; On-site; CAD 120,000 - 180,000; Full time

Job summary

Centre d'Expertise Databricks d'Intelli5 recherche un Architecte Databricks Senior pour concevoir et piloter des plateformes Databricks de bout en bout, incluant ingestion, lakehouse, gouvernance et IA, sur Azure ou AWS.

Vous conduirez les migrations, encadrerez les pipelines, et assurerez le respect des normes de qualité, tests et CI/CD, tout en formant les ingénieurs et en contribuant à l'avant-vente.

Qualifications

• 5 ans et plus en ingénierie ou architecture de données, dont 3 ans et plus sur Databricks en production et 3 ans et plus en rôle d'architecte.
• Au moins deux déploiements de plateforme Databricks menés de bout en bout, dont une migration (Unity Catalog, Snowflake, dbt ou équivalent).
• Expérience en environnement d'entreprise à forte exigence de gouvernance (finance, assurance, secteur public ou grande entreprise) un atout.
• Databricks Certified Data Engineer Professional, atout (etre pret a la passer si la personne ne l'a pas).
• Databricks Certified Generative AI Engineer Associate ou Machine Learning Professional (atout).
• Databricks Certified Data Analyst Associate ou Platform Administrator (atout).
• Microsoft Azure Solutions Architect Expert ou AWS Solutions Architect Professional (atout).

Responsibilities

• Définir l'architecture cible Databricks et la faire approuver par les comités d'architecture.
• Concevoir et encadrer les pipelines d'ingestion et de transformation (batch, streaming, CDC) avec Lakeflow, Spark et Delta Lake, en imposant les standards de qualité, de tests et de CI/CD.
• Déployer et administrer Unity Catalog : modèle de gouvernance, contrôles d'accès fins, lignage, partage de données, conformité (Loi 25, exigences sectorielles).
• Mener des migrations vers Databricks (dbt, Snowflake, Dremio, entrepôts et lacs existants, Hadoop/Synapse) : évaluation, plan, exécution, validation.
• Concevoir les couches analytiques et IA : Databricks SQL, tableaux de bord AI/BI et Genie, MLflow, Agent Bricks, Unity AI Gateway et Databricks AI Search.
• Optimiser coûts et performance (serverless, dimensionnement, Photon, Liquid Clustering, tables système, FinOps) et instaurer l'observabilité.
• Produire la documentation d'architecture, les normes et les gabarits ; former et encadrer les ingénieurs de données.
• Livrer en collaboration directe avec les architectes et les équipes de services professionnels de Databricks lorsque le mandat le demande.
• Contribuer à l'avant-vente technique : estimation, démonstrations, preuves de concept, réponses techniques aux appels d'offres.

Skills

Leadership technique

Présentation d'architecture

Gestion d'équipe

Autonomie

Français professionnel

Anglais professionnel

Education

Databricks Certified Data Engineer Professional

Databricks Certified Generative AI Engineer Associate

Databricks Certified Data Analyst Associate

Microsoft Azure Solutions Architect Expert

AWS Solutions Architect Professional

Tools

Databricks

Lakeflow

Unity Catalog

dbt

Snowflake

Azure

AWS

GitHub

Azure DevOps

Job description

Vous rejoignez le Centre d'Expertise Databricks d'Intelli5 pour concevoir, faire approuver et piloter des plateformes Databricks de bout en bout — ingestion, Lakehouse, gouvernance, analytique et IA, en Azure ou AWS. Selon les mandats, vous travaillez directement chez nos clients ou aux côtés des équipes de Databricks.

Le Centre d'Expertise regroupe nos architectes et ingénieurs Databricks : il porte nos offres de déploiement et de migration, nos accélérateurs et notre partenariat avec Databricks. Vous en êtes un membre à part entière : vous appliquez ses pratiques dans vos mandats et vous les faites évoluer avec vos pairs, retours d'expérience, accélérateurs, normes d'architecture.

Responsabilités principales

• Définir l'architecture cible Databricks (workspaces, catalogues, zones médaillon, calcul, réseau, sécurité) et la faire approuver par les comités d'architecture.
• Concevoir et encadrer les pipelines d'ingestion et de transformation (batch, streaming, CDC) avec Lakeflow, Spark et Delta Lake, en imposant les standards de qualité, de tests et de CI/CD.
• Déployer et administrer Unity Catalog : modèle de gouvernance, contrôles d'accès fins, lignage, partage de données, conformité (Loi 25, exigences sectorielles).
• Mener des migrations vers Databricks (dbt, Snowflake, Dremio, entrepôts et lacs existants, Hadoop/Synapse) : évaluation, plan, exécution, validation.
• Concevoir les couches analytiques et IA : Databricks SQL, tableaux de bord AI/BI et Genie, MLflow, Agent Bricks, Unity AI Gateway et Databricks AI Search.
• Optimiser coûts et performance (serverless, dimensionnement, Photon, Liquid Clustering, tables système, FinOps) et instaurer l'observabilité.
• Produire la documentation d'architecture, les normes et les gabarits ; former et encadrer les ingénieurs de données.
• Livrer en collaboration directe avec les architectes et les équipes de services professionnels de Databricks lorsque le mandat le demande.
• Contribuer à l'avant-vente technique : estimation, démonstrations, preuves de concept, réponses techniques aux appels d'offres.

Compétences techniques requises: couverture globale de la plateforme

• Lakehouse et stockage (expert) : Delta Lake, architecture médaillon, Liquid Clustering, Deletion Vectors, modélisation dimensionnelle et Data Vault, Iceberg/UniForm.
• Ingénierie de données (expert) : Lakeflow Declarative Pipelines (ex-DLT), Lakeflow Connect (CDC, SaaS), Lakeflow Jobs, Spark/PySpark, Spark SQL, Structured Streaming, Auto Loader.
• Gouvernance et sécurité (expert) : Unity Catalog (catalogues, schémas, volumes, lignage, ABAC, masquage, RLS/CLS), Delta Sharing, Lakehouse Federation, Clean Rooms, SCIM/SSO, réseau privé.
• Analytique et BI (avancé) : Databricks SQL, entrepôts serverless, tableaux de bord AI/BI, Genie, Power BI/Tableau sur Databricks, metric views.
• IA et apprentissage machine (avancé) : MLflow (expériences, registre, évaluation, traçage), Agent Bricks et Custom Agents, Model Serving et Foundation Model APIs, Databricks AI Search (ex-Vector Search), Unity AI Gateway, Genie Agents, feature engineering.
• Plateforme et opérations (expert) : Azure et AWS (idéalement les deux), Terraform et Databricks Asset Bundles, CI/CD (GitHub/Azure DevOps), workspaces et comptes, Serverless compute, tables système, FinOps, observabilité.
• Applications et transactionnel (intermédiaire) : Databricks Apps, Lakebase, intégration API et événementielle.
• Migration (avancé) : dbt vers Databricks, Snowflake, Dremio, Synapse/Hadoop, outils d'évaluation et de conversion, validation et réconciliation des données.

Langages :

Python et SQL courants ; Scala un atout. Connaissance des outils voisins (dbt, Fivetran, Kafka/Event Hubs, Airflow/ADF) attendue pour les intégrations.

Expérience, certifications et profil recherché

• 5 ans et plus en ingénierie ou architecture de données, dont 3 ans et plus sur Databricks en production et 3 ans et plus en rôle d'architecte.
• Au moins deux déploiements de plateforme Databricks menés de bout en bout, dont une migration (Unity Catalog, Snowflake, dbt ou équivalent).
• Expérience en environnement d'entreprise à forte exigence de gouvernance (finance, assurance, secteur public ou grande entreprise) un atout.
• Databricks Certified Data Engineer Professional, atout (etre pret a la passer si la personne ne l'a pas).
• Databricks Certified Generative AI Engineer Associate ou Machine Learning Professional (atout).
• Databricks Certified Data Analyst Associate ou Platform Administrator (atout).
• Microsoft Azure Solutions Architect Expert ou AWS Solutions Architect Professional (atout).

Compétences relationnelles, langue et conditions

• Capacité à présenter et défendre une architecture devant des directions TI, des comités d'architecture et des équipes de sécurité.
• Leadership technique : encadrement d'équipes de 3 à 8 ingénieurs, revues de code et d'architecture, transfert de connaissances.
• Autonomie en contexte multi-intervenants (client, Databricks, fournisseur infonuagique, Intelli5).
• Français professionnel requis ; anglais professionnel requis pour les mandats avec Databricks et hors Québec.