Data Engineer – Azure – Databricks

pvtistes; Saint-Hyacinthe; On-site; CAD 80,000 - 120,000; Full time

Job summary

Une entreprise innovante recherche un ingénieur en données passionné par les solutions cloud et la migration de données. Dans ce rôle, vous serez responsable de la conception et de l'architecture de solutions de données, en utilisant des plateformes cloud comme Azure et des outils de traitement de données tels que Databricks et Apache Spark. Vous travaillerez en étroite collaboration avec des équipes pluridisciplinaires pour optimiser les pipelines de données et garantir la qualité des données. Si vous avez une solide expérience en ingénierie des données et un intérêt pour les technologies de pointe, cette opportunité est faite pour vous!

Qualifications

• Plus de 7 ans d'expérience en ingénierie des données, avec une forte exposition aux migrations de données.
• Expertise en Azure et Databricks pour le traitement des données à grande échelle.

Responsibilities

• Conception d'architectures cloud modernes pour le traitement des données.
• Développement de pipelines de données robustes et optimisation des performances.

Skills

Python

SQL

Gestion de projets de migration

Veille technologique

Collaboration interdisciplinaire

Tools

Azure Data Factory

Databricks

Apache Spark

Snowflake

Informatica

Talend

Job description

Poste ouvert pour PVT et nous pouvons faire des permis Jeunes Professionnels !

TACHES PRINCIPALES :

1. Conception et architecture des solutions de données :
   -Définir et/ou mettre en œuvre des architectures cloud modernes pour le traitement et le stockage des données (Azure de préférence, ou AWS).
   -Concevoir des pipelines de données robustes pour assurer l’intégration et la transformation des données provenant de multiples sources.
2. Gestion des projets de migration :
   -Participer à la migration de data warehouses traditionnels (on-premise) vers des plateformes cloud (ex. Azure Synapse, Snowflake, Databricks).
   -Collaborer avec les équipes métiers et techniques pour planifier, exécuter et valider les migrations de données, notamment dans le cadre de projets de migration de CRM (ex. Salesforce, Dynamics 365).
3. Développement et optimisation de pipelines de données :
   -Utiliser des outils comme Azure Data Factory, Apache Spark, ou Databricks pour créer des workflows d’ingestion, transformation, et mise à disposition des données.
   -Automatiser les processus ETL/ELT en respectant les principes de scalabilité et de performance.
4. Gestion des données et gouvernance :
   -Surveiller la qualité des données et mettre en place des mécanismes de détection et de correction des anomalies.
   -Implémenter des politiques de gouvernance des données, incluant la gestion des métadonnées, la sécurité, et la conformité (ex. RGPD).
5. Collaboration interdisciplinaire :
   -Travailler avec des équipes pluridisciplinaires (data scientists, analystes, et équipes métier) pour comprendre leurs besoins et adapter les solutions.
   -Fournir un support technique sur l’utilisation des pipelines et plateformes de données.
6. Optimisation des coûts et des performances :
   -Configurer et surveiller les ressources cloud pour minimiser les coûts tout en maintenant une performance optimale.
   -Identifier et résoudre les goulets d’étranglement dans les systèmes de données et pipelines.
7. Veille technologique :
   -Rester à jour sur les technologies modernes et les meilleures pratiques en matière de cloud, big data, et migration de données.
   -Recommander de nouveaux outils ou approches pour améliorer les processus existants.

COMPETENCES TECHNIQUES :

1. Cloud : Expertise en Azure (Azure Data Factory, Azure Synapse Analytics, Azure Blob Storage) de préférence, ou plateformes similaires (AWS, GCP).
2. Big Data : Maîtrise de Databricks et Apache Spark pour le traitement des données à grande échelle.
3. Langages de programmation : Excellente connaissance de Python (pandas, PySpark) et SQL.
4. Outils ETL/ELT : Expérience avec des outils comme Azure Data Factory, Informatica, ou Talend.
5. Bases de données : Connaissance des data warehouses modernes (Snowflake, BigQuery) et des bases relationnelles (PostgreSQL, MySQL).

EXPERIENCES REQUISES :
Au-dessus de 7 ans d'expérience en ingénierie des données, avec une forte exposition aux projets de migration de données ou de data warehouses.
Participation active à des projets complexes de migration CRM ou ERP, avec une compréhension des défis métiers et techniques.