Développeur ETL Python / Java - AWS (Glue & Lambda) (IT) / Freelance

FRENCHOPS SERVICES; Paris; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise dynamique à Paris recherche un Développeur Python/Java spécialisé en ETL. Vous serez responsable de la conception et du développement de pipelines de données efficaces sur AWS Glue et Lambda, tout en garantissant la qualité et la sécurité des flux de données. Ce poste requiert une solide expérience en infrastructure cloud et des compétences éprouvées en automatisation CI/CD.

Qualifications

• 3 à 5 ans d'expérience en développement ETL sur AWS.
• Certifications AWS (développeur, data analytics, architecte de solutions) appréciées.
• Bonne connaissance des architectures orientées événements.

Responsabilités

• Conception et développement d'ETL sur AWS Glue en Python.
• Implémentation de fonctions serverless sur AWS Lambda.
• Optimisation et sécurisation des pipelines de données.

Connaissances

Python

Java

AWS Glue

AWS Lambda

SQL

NoSQL

Terraform

CI/CD

CloudFormation

Monitoring

Formation

Bac+5 en informatique, data engineering ou équivalent

Outils

GitLab CI / CD

CloudWatch

Terraform

PostgreSQL

DynamoDB

Redshift

Description du poste

Synthèse de la mission : Le Développeur Python / Java spécialisé en ETL conçoit, développe et maintien des pipelines de données robustes et performants sur AWS Glue et AWS Lambda. Il assure l?ingestion, la transformation et l?optimisation des flux de données pour répondre aux besoins des applications métier et analytiques. Missions Principales : Conception et Développement d?ETL : Développer et optimiser des workflows ETL sur AWS Glue en Python. Implémenter des fonctions serverless sur AWS Lambda en Python ou Java pour traiter les données en temps réel. Gérer le stockage des données via S3, DynamoDB et Redshift. Optimisation des Performances : Assurer la performance et la scalabilité des pipelines de données. Mettre en place des stratégies d?optimisation pour minimiser les coûts et améliorer la latence. Concevoir des modèles de données adaptés aux traitements analytiques et transactionnels. Sécurité et Qualité des Données : Implémenter des contrôles de qualité et de validation des données. Mettre en place des stratégies de monitoring et logging (selon les directives des équipes Cloud et Sécurité du groupe). Intégration et Automatisation : Intégrer les pipelines ETL aux différentes sources et destinations de données (API, bases de données, entrepôts de données). Automatiser les déploiements et tests via des pipelines Gitlab CI / CD sur AWS via Terraform Collaborer avec les équipes DevOps et Data pour l?amélioration continue des processus. Profil candidat : Compétences Requises : Excellente maîtrise dePythonetJava Expérience avecAWS GlueetAWS Lambdapour l?ETL et le traitement serverless Bonne connaissance des bases de données SQL et NoSQL (PostgreSQL, DynamoDB, Redshift) Expérience avecTerraformetCloudFormationpour l?infrastructure as code Automatisation et CI / CD sur AWS avec GitLab CI / CD ou AWS CodePipeline Monitoring et Debugging sur AWS (CloudWatch, X-Ray, Step Functions) Compréhension des architectures orientées événements (EventBridge, SQS, SNS, Kinesis) Connaissance de Magento (Adobe) Expérience Bac+5 en informatique, data engineering ou équivalent Expérience de 3 à 5 ans en développement ETL sur AWS Certifications AWS (AWS Certified Developer, Data Analytics, Solutions Architect) appréciées

Créer une alerte emploi pour cette recherche

Dveloppeur • Paris, Île-de-France, France