Data Engineer

Highspring; Montreal; On-site; CAD 90,000 - 130,000; Full time

Job summary

Highspring recherche un(e) ingénieur(e) de données intermédiaire à senior pour concevoir, développer et maintenir des solutions de données robustes, performantes et évolutives à Montréal.

Le candidat idéal maîtrise SQL, travaille avec des bases de données relationnelles comme Amazon RDS, et connaît les concepts ETL/ELT ainsi que les environnements cloud (AWS). Des compétences en streaming (Kafka) et en Python/Java/Scala sont des atouts.

Qualifications

• Expérience de niveau intermédiaire à senior en ingénierie de données.
• Excellente maîtrise de SQL.
• Expérience avec des bases de données relationnelles, idéalement Amazon RDS.
• Expérience avec les concepts et outils ETL/ELT.
• Bonne compréhension des architectures de données modernes.
• Expérience avec des environnements cloud, idéalement AWS.
• Connaissance de Apache Kafka ou d'une technologie similaire de streaming constitue un atout.
• Expérience avec un langage de programmation tel que Python, Java ou Scala constitue un atout.
• Bonne compréhension des concepts de performance, qualité, sécurité et gouvernance des données.
• Capacité à travailler avec des volumes de données importants.
• Excellentes capacités d'analyse, de résolution de problèmes et de troubleshooting.

Responsibilities

• Concevoir, développer et maintenir des pipelines de données fiables et évolutifs.
• Développer et optimiser des requêtes SQL complexes.
• Construire des processus d'ingestion, de transformation et de traitement de données.
• Participer au développement et à l'évolution des architectures de données.
• Assurer la qualité, la fiabilité et l'intégrité des données.
• Optimiser la performance des bases de données et des traitements de données.
• Automatiser les processus de traitement et de déploiement lorsque pertinent.
• Collaborer avec les analystes, scientifiques de données, développeurs et architectes.
• Participer à la définition des standards et bonnes pratiques d'ingénierie de données.
• Mettre en place des mécanismes de monitoring, logging et gestion des erreurs.
• Diagnostiquer et résoudre les problèmes liés aux pipelines et aux traitements de données.
• Maintenir une documentation technique claire des solutions développées.
• Contribuer à l'amélioration continue de la plateforme et de l'écosystème de données.

Skills

Ingénierie data

SQL

Gouvernance données

Analytique

Volumes élevés

Tools

Amazon RDS

ETL/ELT

AWS

Apache Kafka

Python/Java/Scala

Job description

Nous recherchons un(e) Ingénieur(e) de données de niveau intermédiaire à senior pour concevoir, développer et maintenir des solutions de données robustes, performantes et évolutives.

La personne travaillera en collaboration avec les équipes de données, d'architecture, de développement et d'affaires afin de construire les fondations techniques nécessaires à l'exploitation, la transformation et la disponibilité des données.

Responsabilités principales

• Concevoir, développer et maintenir des pipelines de données fiables et évolutifs.


• Développer et optimiser des requêtes SQL complexes.


• Construire des processus d'ingestion, de transformation et de traitement de données.


• Participer au développement et à l'évolution des architectures de données.


• Assurer la qualité, la fiabilité et l'intégrité des données.


• Optimiser la performance des bases de données et des traitements de données.


• Automatiser les processus de traitement et de déploiement lorsque pertinent.


• Collaborer avec les analystes, scientifiques de données, développeurs et architectes.


• Participer à la définition des standards et bonnes pratiques d'ingénierie de données.


• Mettre en place des mécanismes de monitoring, logging et gestion des erreurs.


• Diagnostiquer et résoudre les problèmes liés aux pipelines et aux traitements de données.


• Maintenir une documentation technique claire des solutions développées.


• Contribuer à l'amélioration continue de la plateforme et de l'écosystème de données.

Compétences recherchées

• Expérience de niveau intermédiaire à senior en ingénierie de données.


• Excellente maîtrise de SQL.


• Expérience avec des bases de données relationnelles, idéalement Amazon RDS.


• Expérience avec les concepts et outils ETL/ELT.


• Bonne compréhension des architectures de données modernes.


• Expérience avec des environnements cloud, idéalement AWS.


• Connaissance de Apache Kafka ou d'une technologie similaire de streaming constitue un atout.


• Expérience avec un langage de programmation tel que Python, Java ou Scala constitue un atout.


• Bonne compréhension des concepts de performance, qualité, sécurité et gouvernance des données.


• Capacité à travailler avec des volumes de données importants.


• Excellentes capacités d'analyse, de résolution de problèmes et de troubleshooting.