Data Engineer AWS Senior — Pipelines, Lakehouse & DataOps

agileDSS inc.; Montreal (administrative region); Hybrid; CAD 90,000 - 130,000; Full time

Benefits offered by this job

Rémunération compétitive

Assurances collectives

Jours personnels et congés avantageux

Remboursement des transports

Horaires flexibles et télétravail

Plan de développement et coaching

Job summary

AgileDSS recherche un Data Engineer AWS senior pour faire évoluer des architectures Data Lake/Warehouse sur AWS et orchestrer des pipelines robustes. Vous développerez des solutions data avec Python, Spark et dbt, intégrerez diverses sources et contribuerez aux choix technologiques.

Le poste implique du mentorat, des pratiques CI/CD et une culture Agile. Télétravail possible et environnement dynamique chez AgileDSS, entreprise canadienne axée data et IA.

Qualifications

• Minimum de 5 ans d’expérience en Data Engineering, Big Data ou intégration de données.
• Expérience significative dans la conception et le développement de solutions de données sur AWS.
• Connaissance des environnements de données à grande échelle.
• Expérience en contexte de service-conseil serait un atout.

Responsibilities

• Concevoir et développer des solutions de données modernes dans l’écosystème AWS.
• Mettre en place et maintenir des pipelines d’ingestion, de transformation et d’orchestration de données (ETL / ELT).
• Concevoir, développer et faire évoluer des architectures Data Lake, Data Warehouse et Lakehouse.
• Développer des traitements distribués avec Python, Spark et PySpark.
• Intégrer diverses sources de données : API, SaaS, bases de données et flux temps réel.
• Participer à la définition des architectures de données et choix technologiques.
• Mettre en œuvre les pratiques DataOps, DevOps et CI/CD.
• Automatiser les déploiements et contribuer à l’Infrastructure as Code.
• Optimiser performance, fiabilité et coûts des plateformes AWS.
• Participer à la gouvernance et à la sécurité des données.
• Collaborer avec architectes, analystes, scientifiques et équipes métiers.
• Contribuer à la qualité du code par les revues et la documentation.
• Accompagner et mentor les membres juniors.
• Participer aux cérémonies Agile et à l’amélioration continue des solutions.

Skills

Python

SQL

Spark/PySpark

ETL/ELT pipelines

Data modeling

AWS services

DevOps/DataOps

CI/CD

Tools

Terraform

Git

Apache Airflow

Docker

Kubernetes (EKS)

dbt

Snowflake/Databricks

Job description

AgileDSS recherche un Data Engineer AWS senior pour faire évoluer des architectures Data Lake/Warehouse sur AWS et orchestrer des pipelines robustes. Vous développerez des solutions data avec Python, Spark et dbt, intégrerez diverses sources et contribuerez aux choix technologiques.

Le poste implique du mentorat, des pratiques CI/CD et une culture Agile. Télétravail possible et environnement dynamique chez AgileDSS, entreprise canadienne axée data et IA.