Cloud Data Engineer (GCP & AWS)

Synechron; Montreal (administrative region); Hybrid; CAD 110,000 - 140,000; Full time

Benefits offered by this job

15 jours de congés

10 jours congés personnels et maladie

Assurance complète

Politique hybride

REER 4%

Job summary

Synechron recrute un Ingénieur de données infonuagiques pour concevoir, développer et maintenir des pipelines de données évolutifs sur AWS et Google Cloud Platform. Vous travaillerez sur l’ingestion, la transformation et l’orchestration des flux via Apache Airflow.

Vous aurez l’opportunité d’évoluer dans un cadre DevOps avec des pratiques modernes, API-based et une collaboration internationale, au sein d’un cabinet de conseil financier et technologique.

Qualifications

• Plus de 6 ans d’expérience dans des solutions de données infonuagiques utilisant AWS Athena, S3, Glue et Google BigQuery.
• Conception et mise en œuvre de processus d’ingestion et d’intégration via des API.
• Maîtrise de la consommation d’API REST, extraction et transformation pour l’analyse.
• Développement de modèles d’ingestion par lots et CDC (Change Data Capture).
• Conception et gestion de pipelines ETL/ELT et orchestration avec Airflow.

Responsibilities

• Développer des solutions de données infonuagiques sur AWS et GCP.
• Concevoir et implémenter des pipelines d’ingestion et d’intégration basés sur des API.
• Développer des pipelines batch et quasi temps réel, CDC et transformations analytiques.
• Gérer l’ordonnancement et l’orchestration via Apache Airflow.
• Maintenir les pipelines CI/CD et les déploiements automatisés.
• Supporter les processus de déploiement et promouvoir les meilleures pratiques DevOps.

Skills

AWS Athena

Amazon S3

AWS Glue Data Catalog

Google BigQuery

API ingestion

REST API

CDC

ETL/ELT

Apache Airflow

GitHub

CI/CD

DevOps

Tools

Airflow

GitHub

CI/CD tooling

Job description

Synechron est un cabinet mondial de conseil de premier plan en transformation numérique, spécialisé dans les services financiers et les organisations technologiques. Nos expertises couvrent l’intelligence artificielle de bout en bout, le conseil, le digital, le cloud et le DevOps, la donnée ainsi que l’ingénierie logicielle. Nos 13 FinLabs servent de pôles d’innovation où nous concevons et développons des solutions métiers de pointe.

Notre défi

Synechron recherche un Ingénieur de données infonuagiques (Cloud Data Engineer) pour concevoir, développer et maintenir des solutions de données évolutives sur AWS et Google Cloud Platform (GCP). Le candidat retenu développera des pipelines fiables d’ingestion et de traitement des données, automatisera les flux de travail et contribuera à des déploiements efficaces grâce à des pratiques DevOps modernes.

Responsabilités :

• Développer des solutions de données infonuagiques à l’aide de AWS Athena, Amazon S3, AWS Glue Data Catalog et Google BigQuery.
• Concevoir et mettre en œuvre des processus d’ingestion et d’intégration des données basés sur des API.
• Consommer des API REST, extraire les données et les transformer à des fins analytiques.
• Développer des modèles d’ingestion par lots (batch), en quasi temps réel et de capture des changements de données (CDC - Change Data Capture).
• Concevoir et maintenir des pipelines de données ETL/ELT.
• Utiliser Apache Airflow pour l’ordonnancement des flux de travail et l’orchestration des pipelines.
• Gérer les dépendances des pipelines, la surveillance, les alertes, la gestion des erreurs et les mécanismes de reprise.
• Utiliser GitHub pour le contrôle des versions et le développement collaboratif.
• Développer et maintenir des pipelines CI/CD ainsi que des mécanismes d’automatisation des déploiements.
• Soutenir les processus de déploiement et promouvoir des pratiques DevOps cohérentes dans les initiatives d’ingénierie des données.

Compétences requises :

• Plus de 6 ans d’expérience dans le développement de solutions de données infonuagiques utilisant AWS Athena, Amazon S3, AWS Glue Data Catalog et Google BigQuery.
• Expérience dans la conception et la mise en œuvre de processus d’ingestion et d’intégration de données basés sur des API.
• Maîtrise de la consommation d’API REST, de l’extraction et de la transformation de données à des fins analytiques.
• Expérience dans le développement de modèles d’ingestion par lots, en quasi temps réel et de capture des changements de données (CDC).
• Solide expérience dans la conception et la gestion de pipelines ETL/ELT.
• Expérience avec Apache Airflow pour l’orchestration et la planification des flux de données.
• Capacité à gérer les dépendances des pipelines, la surveillance, les alertes, les erreurs et les mécanismes de récupération.
• Expérience avec GitHub pour le contrôle de code source et le développement collaboratif.
• Expérience dans le développement et la maintenance de pipelines CI/CD ainsi que l’automatisation des mises en production.
• Bonne compréhension des processus de déploiement et des meilleures pratiques DevOps appliquées aux projets d’ingénierie des données.
• Une organisation multinationale avec 60 bureaux dans 20 pays et la possibilité de travailler à l'étranger
• 15 jours (3 semaines) de congés annuels payés plus 10 jours de congés personnels et jours de maladie supplémentaires
• Un régime d'assurance complet comprenant : assurance médicale, dentaire, visuelle, assurance vie et invalidité de longue durée
• Une politique hybride flexible
• REER avec contribution de l'employeur jusqu'à 4%

La diversité et l'inclusion sont fondamentales pour notre culture, et Synechron est fier d'être un lieu de travail égalitaire et un employeur pratiquant l'action positive. Notre initiative de diversité, d'équité et d'inclusion (DEI) «Synclusive» s'engage à favoriser une culture inclusive - promouvoir l'égalité, la diversité et un environnement respectueux envers tous. Nous croyons fermement qu'une main-d'œuvre diversifiée contribue à renforcer les entreprises avec succès en tant qu'entreprise mondiale. Nous encourageons les candidats de divers horizons, qu'il s'agisse de race, d'origine ethnique, de religion, d'âge, de statut matrimonial, de genre, d'orientation sexuelle ou de handicap, à postuler. Nous autonomisons notre main-d'œuvre mondiale en proposant des arrangements de travail flexibles, du mentorat, une mobilité interne, des programmes d'apprentissage et de développement, et bien plus encore.

Toutes les décisions d'emploi chez Synechron sont basées sur les besoins de l'entreprise, les exigences du poste et les qualifications individuelles, sans tenir compte du genre, de l'identité de genre, de l'orientation sexuelle, de la race, de l'origine ethnique, du handicap ou du statut de vétéran du candidat, ou de toute autre caractéristique protégée par la loi.