Développeur Big Data AWS

agileDSS inc.; Montreal (administrative region); Hybrid; CAD 90,000 - 130,000; Full time

Benefits offered by this job

Rémunération compétitive

Assurances collectives

Jours personnels et congés avantageux

Remboursement des transports

Horaires flexibles et télétravail

Plan de développement et coaching

Job summary

AgileDSS recherche un Data Engineer AWS senior pour faire évoluer des architectures Data Lake/Warehouse sur AWS et orchestrer des pipelines robustes. Vous développerez des solutions data avec Python, Spark et dbt, intégrerez diverses sources et contribuerez aux choix technologiques.

Le poste implique du mentorat, des pratiques CI/CD et une culture Agile. Télétravail possible et environnement dynamique chez AgileDSS, entreprise canadienne axée data et IA.

Qualifications

• Minimum de 5 ans d’expérience en Data Engineering, Big Data ou intégration de données.
• Expérience significative dans la conception et le développement de solutions de données sur AWS.
• Connaissance des environnements de données à grande échelle.
• Expérience en contexte de service-conseil serait un atout.

Responsibilities

• Concevoir et développer des solutions de données modernes dans l’écosystème AWS.
• Mettre en place et maintenir des pipelines d’ingestion, de transformation et d’orchestration de données (ETL / ELT).
• Concevoir, développer et faire évoluer des architectures Data Lake, Data Warehouse et Lakehouse.
• Développer des traitements distribués avec Python, Spark et PySpark.
• Intégrer diverses sources de données : API, SaaS, bases de données et flux temps réel.
• Participer à la définition des architectures de données et choix technologiques.
• Mettre en œuvre les pratiques DataOps, DevOps et CI/CD.
• Automatiser les déploiements et contribuer à l’Infrastructure as Code.
• Optimiser performance, fiabilité et coûts des plateformes AWS.
• Participer à la gouvernance et à la sécurité des données.
• Collaborer avec architectes, analystes, scientifiques et équipes métiers.
• Contribuer à la qualité du code par les revues et la documentation.
• Accompagner et mentor les membres juniors.
• Participer aux cérémonies Agile et à l’amélioration continue des solutions.

Skills

Python

SQL

Spark/PySpark

ETL/ELT pipelines

Data modeling

AWS services

DevOps/DataOps

CI/CD

Tools

Terraform

Git

Apache Airflow

Docker

Kubernetes (EKS)

dbt

Snowflake/Databricks

Job description

AgileDSS est une entreprise canadienne spécialisée dans la data, avec son siège à Montréal et des filiales à Québec et Nantes(France). Depuis près de deux décennies, nous aidons les grandes sociétés françaises et canadiennes à développer des écosystèmes analytiques uniques et sur mesure.

Rejoindre AgileDSS signifie faire partie d'une équipe entrepreneuriale qui met l'accent sur le développement personnel et professionnel, en travaillant sur des projets où notre expertise en BI, Cloud, Data Engineering et DataOps est non seulement reconnue pour son excellence, mais aussi pour notre approche à la fois humaine et innovante.

Nous sommes constamment à la recherche de personnes ambitieuses, dotées d'un esprit entrepreneurial et d'une passion pour la data, pour accompagner nos clients ou pour contribuer à l'évolution d'AgileDSS.

Actuellement, nous avons besoin d'un Data Engineer AWS.

Ce que nous recherchons

Ton rôle

Dans le cadre de la croissance de notre pratique Data & IA, nous recherchons un·e Développeur·se Senior Big Data AWS.

Tes responsabilités

• Concevoir et développer des solutions de données modernes dans l’écosystème AWS
• Mettre en place et maintenir des pipelines d’ingestion, de transformation et d’orchestration de données (ETL / ELT)
• Concevoir, développer et faire évoluer des architectures Data Lake, Data Warehouse et Lakehouse
• Développer des traitements distribués à l’aide de Python, Spark et PySpark
• Intégrer différentes sources de données : API, applications SaaS, bases de données, fichiers et flux temps réel
• Participer à la définition des architectures de données et aux choix technologiques
• Mettre en œuvre les bonnes pratiques DataOps, DevOps et CI/CD
• Automatiser les déploiements et contribuer à l’Infrastructure as Code
• Optimiser la performance, la fiabilité et les coûts des plateformes de données AWS
• Participer à l’implantation des mécanismes de qualité, de sécurité, d’observabilité et de gouvernance des données
• Collaborer étroitement avec les architectes, analystes, scientifiques de données, développeurs et parties prenantes d’affaires
• Contribuer à la qualité du code par les revues techniques, les standards de développement et la documentation
• Accompagner et mentorer les membres plus juniors de l’équipe
• Participer activement aux cérémonies Agile et à l’amélioration continue des solutions

Ton profil

Expérience

• Minimum de 5 ans d’expérience en Data Engineering, Big Data ou intégration de données
• Expérience significative dans la conception et le développement de solutions de données sur AWS
• Expérience avec des environnements de données à grande échelle
• Expérience en contexte de service-conseil, un atout

Compétences techniques

• Excellente maîtrise de Python
• Excellente maîtrise du SQL
• Solide expérience avec Spark et PySpark
• Expérience dans la conception et l’industrialisation de pipelines ETL / ELT
• Maîtrise des services AWS liés à la donnée :
  • Amazon S3
  • AWS Glue
  • Amazon Redshift
  • Amazon Athena
  • AWS Lambda
  • AWS Step Functions
  • Amazon EventBridge
• Expérience avec dbt pour la transformation et la modélisation des données
• Expérience avec Terraform ou un autre outil d’Infrastructure as Code
• Bonne maîtrise de Git et des pratiques CI/CD
• Connaissance des concepts Data Lake, Data Warehouse et Lakehouse
• Expérience avec les intégrations via API REST
• Bonne compréhension des enjeux de sécurité, de gouvernance et de qualité des données
• Expérience des méthodologies Agile / Scrum

Atouts

• Expérience avec Apache Iceberg ou d’autres formats de tables ouverts
• Expérience avec Apache Airflow ou Amazon MWAA
• Expérience avec Docker et Kubernetes (EKS)
• Connaissance de Kafka ou Amazon MSK
• Expérience avec Snowflake ou Databricks
• Connaissance des pratiques DataOps et MLOps
• Certifications AWS (Data Engineer, Developer ou Solutions Architect)
• Expérience en accompagnement ou mentorat technique

Mais n’oublions pas le savoir-être

Avant toute chose, nous recherchons une personne qui s’épanouira dans notre environnement.

Si tu es passionné·e par la donnée, que tu aimes résoudre des problèmes complexes, apprendre continuellement et partager tes connaissances, tu trouveras rapidement ta place chez agileDSS.

Nous accordons autant d’importance aux compétences techniques qu’aux qualités humaines. L’autonomie, la collaboration, la curiosité intellectuelle, la rigueur et le sens du service sont des éléments essentiels à la réussite chez agileDSS.

Ce qu’on t’offre

Nous sommes avant tout une équipe de collaborateurs à taille humaine qui a à cœur le bien-être de ses employés,

c’est pourquoi nous t’offrons:

• Une rémunération annuelle fixe et une bonification annuelle selon l’atteinte de ta performance
• Des objectifs individuels accessibles et réalistes pour garantir un environnement sans pression
• Des assurances collectives (télé-médecine, dentaire, vision, soins...)
• Jours Personnels - Maladies progressives en fonction de l'ancienneté
• Semaines de vacances augmentent progressivement en fonction de l'ancienneté, en plus des jours de Noël.
• Remboursement des abonnements de sport, art et culture
• Remboursement du transport à 100% (métro, bus, voiture,...)
• Horaires flexibles et télétravail
• Plan de développement pour chaque employé et coaching avec un mentor
• Environnement non hiérarchique favorisant l’intrapreneuriat
• Activités mensuelles de team building

Et bien d’autres encore !

agileDSS : Votre prochaine bonne décision.

Vous hésitez encore ?

Découvrez notre blogue: https://agiledss.com/blogue