Snowflake, Python, Airflow Engineer

Req ID:
#

NTT DATA strives to hire exceptional, innovative and passionate individuals who want to grow with us. If you want to be part of an inclusive, adaptable, and forward-thinking organization, apply now.

We are currently seeking a Snowflake, Python, Airflow Engineer to join our team in Montreal, Quebec (CA-QC), Canada (CA).

Ingénieur Python/Python Engineer

Description du poste

TAches: En tant qu’ingénieur(e) plateforme de données Python, vous intégrerez l’équipe C3 Data Warehouse au sein du département Controls Engineering, Measurement and Analytics (CEMA). Votre mission: développer notre plateforme de données nouvelle génération, utilisée pour l’approvisionnement et le stockage des données issues de différents systèmes technologiques de l’entreprise, en une plateforme centralisée permettant de fournir diverses solutions de reporting et d’analyse pour les fonctions Risques technologiques du service Courtage. À ce titre, vous serez principalement chargé(e) de contribuer au développement d’un framework de pipeline de données unifié, écrit en Python et utilisant des technologies telles qu’Airflow, DBT, Spark et Snowflake. Vous contribuerez également à l’intégration de ce framework aux plateformes internes existantes pour la qualité, le catalogage et la découverte des données, la journalisation des incidents et la génération d’indicateurs. Vous travaillerez en étroite collaboration avec les responsables de l’entreposage de données, les analystes de données, les développeurs ETL, les ingénieurs infrastructure et les équipes d’analyse de données afin de faciliter la mise en œuvre de cette plateforme et de ce pipeline de données.

Principales responsabilités

1. Développer divers composants en Python pour notre infrastructure de pipeline de données unifiée.
2. Contribuer à l'établissement de bonnes pratiques pour une utilisation optimale et efficace d'Airflow, DBT et Snowflake.
3. Participer aux tests et au déploiement de notre infrastructure de pipeline de données à l'aide de frameworks de test standard et d'outils CI/CD.
4. Surveiller les performances des requêtes et des chargements de données et effectuer les ajustements nécessaires.
5. Fournir une assistance et des conseils pendant les phases d'assurance qualité et d'acceptation des utilisateurs afin de confirmer rapidement la validité des problèmes potentiels et d'en déterminer la cause profonde et la meilleure solution pour les problèmes vérifiés.

Compétences minimales requises

1. Licence en informatique, génie logiciel, technologies de l’information ou domaine connexe requise.
2. Au moins 7 ans d’expérience en développement de données et en solutions dans des environnements de données très complexes avec d’importants volumes de données.
3. Au moins 7 ans d’expérience en SQL/PLSQL avec la capacité à écrire des requêtes ad hoc et complexes pour l’analyse de données.
4. Au moins 5 ans d’expérience en développement de pipelines de données et de solutions d’entreposage de données avec Python et des bibliothèques telles que Pandas, NumPy, PySpark, etc.
5. Au moins 3 ans d’expérience en développement de solutions dans un environnement de données hybride (sur site et dans le cloud).
6. Au moins 3 ans d’expérience en développement de DAG Airflow pour orchestrer des pipelines de données utilisant la ramification, la génération dynamique de DAG/tAches et la gestion des erreurs.
7. Une expérience pratique avec Snowflake est indispensable.
8. Une expérience pratique avec Apache Spark est indispensable.
9. Une expérience pratique avec DBT est un atout.
10. De solides compétences analytiques, notamment une compréhension approfondie de l'interprétation des exigences métier des clients et de leur traduction en conceptions et solutions techniques.
11. De solides compétences en communication, tant à l'oral qu'à l'écrit.
12. Autonome. Capacité avérée à gérer plusieurs projets simultanés avec un minimum de supervision.
13. Solides compétences en résolution de problèmes.

About NTT DATA

NTT DATA is a $30 billion trusted global innovator of business and technology services. We serve 75% of the Fortune Global 100 and are committed to helping clients innovate, optimize and transform for long term success. As a Global Top Employer, we have diverse experts in more than 50 countries and a robust partner ecosystem of established and start-up companies. Our services include business and technology consulting, data and artificial intelligence, industry solutions, as well as the development, implementation and management of applications, infrastructure and connectivity.