Ingénieur de Données / Data Engineer

Highspring; Montreal (administrative region); On-site; CAD 90,000 - 140,000; Full time

Job summary

Highspring recherche un ingénieur(trice) de données intermédiaire à senior pour concevoir, développer et maintenir des solutions de données robustes et évolutives. Vous travaillerez avec les équipes data, architecture et développement pour assurer l'exploitation et la disponibilité des données.

Vous concevrez et optimiserez des pipelines, écrirez des requêtes SQL complexes et contribuerez à l’ingestion, la transformation et le traitement des données, tout en veillant à la qualité et à la

Qualifications

• Expérience intermédiaire à senior en ingénierie de données.
• Maîtrise avancée de SQL.
• Expérience avec des bases de données relationnelles et Amazon RDS.
• Expérience avec ETL/ELT.
• Bonne compréhension des architectures de données modernes.
• Expérience avec des environnements cloud (AWS).
• Connaissance de Kafka ou technologie de streaming est un atout.
• Langage de programmation (Python/Java/Scala) est un atout.

Responsibilities

• Concevoir, développer et maintenir des pipelines de données fiables et évolutifs.
• Développer et optimiser des requêtes SQL complexes.
• Construire des processus d'ingestion, de transformation et de traitement de données.
• Participer au développement et à l'évolution des architectures de données.
• Assurer la qualité, la fiabilité et l'intégrité des données.
• Optimiser la performance des bases de données et des traitements de données.
• Automatiser les processus de traitement et de déploiement lorsque pertinent.
• Collaborer avec les analystes, scientifiques de données, développeurs et architectes.
• Participer à la définition des standards et bonnes pratiques d'ingénierie de données.
• Mettre en place des mécanismes de monitoring, logging et gestion des erreurs.
• Diagnostiquer et résoudre les problèmes liés aux pipelines et aux traitements de données.
• Maintenir une documentation technique claire des solutions développées.
• Contribuer à l'amélioration continue de la plateforme et de l'écosystème de données.

Skills

SQL

Pipelines de données

Gouvernance des données

Python/Java/Scala

AWS

Kafka

Résolution de problèmes

Tools

Amazon RDS

ETL/ELT

Apache Kafka

Python/Java/Scala

AWS

Job description

Nous recherchons un(e) Ingénieur(e) de données de niveau intermédiaire à senior pour concevoir, développer et maintenir des solutions de données robustes, performantes et évolutives.

La personne travaillera en collaboration avec les équipes de données, d'architecture, de développement et d'affaires afin de construire les fondations techniques nécessaires à l'exploitation, la transformation et la disponibilité des données.

Responsabilités principales

• Concevoir, développer et maintenir des pipelines de données fiables et évolutifs.
• Développer et optimiser des requêtes SQL complexes.
• Construire des processus d'ingestion, de transformation et de traitement de données.
• Participer au développement et à l'évolution des architectures de données.
• Assurer la qualité, la fiabilité et l'intégrité des données.
• Optimiser la performance des bases de données et des traitements de données.
• Automatiser les processus de traitement et de déploiement lorsque pertinent.
• Collaborer avec les analystes, scientifiques de données, développeurs et architectes.
• Participer à la définition des standards et bonnes pratiques d'ingénierie de données.
• Mettre en place des mécanismes de monitoring, logging et gestion des erreurs.
• Diagnostiquer et résoudre les problèmes liés aux pipelines et aux traitements de données.
• Maintenir une documentation technique claire des solutions développées.
• Contribuer à l'amélioration continue de la plateforme et de l'écosystème de données.

Compétences recherchées

• Expérience de niveau intermédiaire à senior en ingénierie de données.
• Excellente maîtrise de SQL.
• Expérience avec des bases de données relationnelles, idéalement Amazon RDS.
• Expérience avec les concepts et outils ETL/ELT.
• Bonne compréhension des architectures de données modernes.
• Expérience avec des environnements cloud, idéalement AWS.
• Connaissance de Apache Kafka ou d'une technologie similaire de streaming constitue un atout.
• Expérience avec un langage de programmation tel que Python, Java ou Scala constitue un atout.
• Bonne compréhension des concepts de performance, qualité, sécurité et gouvernance des données.
• Capacité à travailler avec des volumes de données importants.
• Excellentes capacités d'analyse, de résolution de problèmes et de troubleshooting.