SENIOR DATA ENGINEER

RED TIC; Quebec; On-site; CAD 90,000 - 140,000; Full time

Job summary

RED TIC recrute pour l’un de ses partenaires un(e) Senior Data Engineer afin de concevoir, développer et maintenir des plateformes et pipelines de données robustes et évolutifs, tout en garantissant la qualité, la disponibilité et la performance des données.

Profil recherché: Bac+5 en informatique et 5 à 8 ans d’expérience en Data Engineering, avec une solide maîtrise des architectures Data et des environnements Cloud et Big Data.

Qualifications

• Bac+5 en informatique, Data Engineering, systèmes d’information ou équivalent
• 5 à 8 ans d’expérience en Data Engineering
• Conception et développement de pipelines et plateformes Data
• Bonne maîtrise des architectures Data et des environnements distribués
• Expérience dans des environnements Cloud et/ou Big Data

Responsibilities

• Concevoir et développer des pipelines de données fiables, performants et évolutifs
• Participer à la conception et à l’évolution des architectures Data
• Développer et optimiser les traitements de données batch et/ou temps réel
• Mettre en œuvre les processus ETL/ELT et assurer l’intégration des sources
• Garantir la qualité, la cohérence et la disponibilité des données
• Optimiser les performances des traitements et des infrastructures Data
• Mettre en place les workflows d’orchestration et de planification
• Participer au déploiement et à l’industrialisation des solutions Data dans le Cloud
• Mettre en œuvre les bonnes pratiques CI/CD et DataOps
• Participer à la supervision et au monitoring des pipelines et plateformes Data
• Identifier et résoudre les incidents et problèmes liés aux traitements de données
• Collaborer avec les équipes Data Science, BI, Cloud, DevOps et métiers
• Documenter les architectures, pipelines et flux de traitement
• Accompagner les développeurs et ingénieurs Data moins expérimentés
• Veiller aux nouvelles technologies et pratiques du Data Engineering

Skills

Python

SQL

Analytique

Autonomie

Communication

Education

Bac+5 en informatique ou équivalent

Tools

Apache Spark

Hadoop/Hive

Kafka

Data Lake

Data Warehouse

Lakehouse

ETL/ELT

NoSQL

AWS

Azure

GCP

Airflow

Git

CI/CD

Docker

Kubernetes

Job description

• CDI
• Québec
• Publié il y a 4 jours

RED TIC recrute pour l’un de ses partenaires un(e) Senior Data Engineer pour concevoir, développer et maintenir des plateformes et pipelines de données robustes et évolutifs, tout en garantissant la qualité, la disponibilité et la performance des données.

Profil recherché

• Formation Bac+5 en informatique, Data Engineering, systèmes d’information ou équivalent
• Expérience de 5 à 8 ans en Data Engineering
• Solide expérience dans la conception et le développement de pipelines et plateformes Data
• Bonne maîtrise des architectures Data et des environnements distribués
• Expérience dans des environnements Cloud et/ou Big Data

Compétences techniques

• Excellente maîtrise de Python et SQL
• Bonne maîtrise des technologies de traitement distribué telles que Apache Spark
• Expérience avec les solutions Big Data : Hadoop, Hive, Kafka ou équivalent
• Bonne connaissance des architectures Data Lake, Data Warehouse et Lakehouse
• Maîtrise des processus ETL/ELT et des outils d’intégration de données
• Bonne connaissance des bases de données relationnelles et NoSQL
• Expérience avec les environnements Cloud : AWS, Azure ou GCP
• Bonne maîtrise de Git et des pratiques CI/CD
• Connaissance des outils d’orchestration tels qu’Airflow ou équivalent
• Connaissance de Docker et Kubernetes appréciée
• Bonne compréhension des problématiques de Data Quality, Data Governance et sécurité des données
• Connaissance des outils de BI et de visualisation appréciée
• Connaissance des pratiques DataOps appréciée

Missions principales

• Concevoir et développer des pipelines de données fiables, performants et évolutifs
• Participer à la conception et à l’évolution des architectures Data
• Développer et optimiser les traitements de données batch et/ou temps réel
• Mettre en œuvre les processus ETL/ELT et assurer l’intégration des différentes sources de données
• Garantir la qualité, la cohérence et la disponibilité des données
• Optimiser les performances des traitements et des infrastructures Data
• Mettre en place et maintenir les workflows d’orchestration et de planification
• Participer au déploiement et à l’industrialisation des solutions Data dans les environnements Cloud
• Mettre en œuvre les bonnes pratiques CI/CD et DataOps
• Participer à la supervision et au monitoring des pipelines et plateformes Data
• Identifier et résoudre les incidents et problèmes liés aux traitements de données
• Collaborer avec les équipes Data Science, BI, Cloud, DevOps et métiers
• Documenter les architectures, pipelines, flux et processus de traitement
• Accompagner les développeurs et ingénieurs Data moins expérimentés
• Assurer une veille technologique sur les nouvelles technologies et pratiques du Data Engineering

Qualités personnelles

• Excellent esprit d’analyse et de résolution de problèmes
• Rigueur et sens du détail
• Autonomie et capacité à prendre des décisions techniques
• Esprit d’équipe et bonnes capacités de communication
• Leadership technique et capacité à accompagner les équipes
• Curiosité et intérêt pour les technologies Data
• Sens des responsabilités et orientation qualité
• Esprit d’amélioration continue