Stage Data Engineer H/F

Taïga; Pessac; Hybride; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise innovante en données recherche un stagiaire Data Engineer pour concevoir et maintenir des pipelines de données sur AWS. Vous développerez des compétences en data lakes, ETL/ELT, et vous serez formé sur les meilleures pratiques en data engineering. Ce stage de 6 mois, en télétravail, offre un mentorat par des experts et l'opportunité d'obtenir des certifications AWS. Rémunération entre 750€ et 1800€ par mois.

Prestations

Certifications AWS financées

Accès complet aux environnements AWS

Mentorat personnalisé par experts data

Qualifications

• Être passionné par le Big Data et l'Intelligence Artificielle.
• Avoir un bon niveau de bases de données relationnelles et NoSQL.
• Posséder une maîtrise avancée de Python et SQL.

Responsabilités

• Concevoir, construire et maintenir des pipelines de données à grande échelle sur AWS.
• Participer à des projets techniques complexes en data engineering.
• Travailler sur des migrations de plateformes data legacy vers AWS.

Connaissances

Structures de données et algorithmes

Complexité algorithmique et optimisation

Systèmes d'exploitation (Linux)

Réseaux et protocoles

Bases de données relationnelles et NoSQL

Python

C/C++

SQL

ETL/ELT pipelines

AWS (S3, Lambda, Glue)

Formation

Bac +3 à Bac +5 (École d'ingénieur, Master Informatique)

Outils

Git

Docker

Apache Airflow

Description du poste

Détail du poste

Mission

Devenir un Data Engineer expert capable de concevoir, construire et maintenir des pipelines de données à grande échelle sur AWS, en maîtrisant les architectures modernes de données (Data Lake, Data Warehouse, Lakehouse) et les meilleures pratiques d'ingénierie logicielle appliquées à la data.

Description du Poste

Taïga recherche un stagiaire passionné par l'univers du Big Data et de l'Intelligence Artificielle pour rejoindre son équipe d'experts. Ce stage de 6 mois offre une opportunité exceptionnelle de se former aux architectures de données modernes tout en participant à des projets techniques complexes.

Au cœur de votre mission, vous travaillerez sur la conception et l'implémentation d'architectures de données à grande échelle, gérant des volumes considérables allant de millions de fichiers à plusieurs téraoctets de données. Vous serez exposé aux technologies les plus avancées du marché, incluant les architectures Data Lake pour le stockage massif de données brutes, Data Warehouse pour l'analyse structurée, et Lakehouse combinant le meilleur des deux mondes avec Apache Iceberg. Les projets sur lesquels vous interviendrez incluent des migrations de plateformes data legacy vers des architectures AWS modernes, la construction de Data Lakes multi-sources avec orchestration complexe, le développement de pipelines ETL/ELT traitant des millions d'enregistrements, l'optimisation de data warehouses pour améliorer les performances, ainsi que l'intégration de données en temps réel provenant de sources IoT, logs applicatifs ou événements métier.

La structure de votre temps reflétera un équilibre optimal entre acquisition de compétences et mise en pratique professionnelle : 30% de votre temps sera consacré à l'apprentissage approfondi des technologies data, à la préparation de certifications AWS hautement valorisées sur le marché, et à la réalisation de POCs techniques permettant d'expérimenter avec de nouvelles approches et outils. Les 70% restants seront dédiés à la construction effective de pipelines de données pour nos clients, à l'optimisation de performances (tant en termes de temps d'exécution que de coûts cloud), et à la conception d'architectures de plateformes data robustes et scalables. Cette approche pratique intensive vous permettra de développer une expertise opérationnelle rare, très recherchée par les entreprises.

Votre environnement de travail sera optimisé pour favoriser votre développement professionnel. Le stage s'effectuera en télétravail avec des regroupements occasionnels facilitant le partage de connaissances. Vous disposerez d'un accès illimité aux environnements AWS incluant l'ensemble de la palette de services data. Un budget dédié vous permettra de passer les certifications AWS qui jalonneront votre parcours de formation. Enfin, vous bénéficierez de l'accompagnement de nos data engineers et architectes seniors qui partageront leur expertise à travers un mentorat personnalisé, des sessions de pair programming et des code reviews constructives.

Profil Recherché

Formation

Niveau : Bac +3 à Bac +5 (École d'ingénieur, Master Informatique). Spécialisation : Informatique, Big Data.

Compétences Requises

Fondamentaux Informatiques

• Structures de données et algorithmes
• Complexité algorithmique et optimisation
• Systèmes d'exploitation (Linux)
• Réseaux et protocoles
• Bases de données relationnelles et NoSQL

Programmation

• Python : Maîtrise obligatoire (avancé)
• C/C++ : Fortement recommandé
• SQL : Maîtrise avancée
• Paradigmes OOP, fonctionnel, et orienté data

Version Control

• Git : Workflows avancés, stratégies de branching
• GitHub/GitLab : CI/CD, code reviews, collaboration

Compétences Souhaitées

Data Engineering

• ETL/ELT pipelines
• Systèmes distribués (notions Hadoop, Spark)
• Formats de données (Parquet)
• Streaming de données (Kafka, Kinesis)
• Data modeling (Kimball, Data Vault)

Cloud & Infrastructure

• AWS (S3, Lambda, Glue)
• Containerisation (Docker)
• Orchestration (Airflow, Step Functions)

Qualités Personnelles

• Rigueur : Attention aux détails, qualité du code
• Sens de l'optimisation : Passion pour la performance et l'efficience
• Systémique : Vision d'ensemble des flux de données
• Pragmatisme : Équilibre entre perfection et pragmatisme
• Autonomie : Capacité à débloquer des problèmes techniques
• Collaboration : Travail en équipe, communication claire

Certifications Visées

• AWS Certified Solutions Architect - Associate
• AWS Certified Data Engineer - Associate
• AWS Certified Solutions Architect - Professional
• AWS Certified Machine Learning - Specialty

Technologies et Outils

Programming Langages

• Python
• Rust

AWS Data Services

• Storage : S3
• Processing : Glue, EMR, Athena, Lambda, ECS
• Databases : Redshift, RDS, DynamoDB, Aurora
• Streaming : Kinesis Data Streams, Kinesis Firehose, MSK (Kafka)
• Orchestration : Step Functions, EventBridge, Apache Airflow, DBT

Big Data

• PySpark
• Apache Iceberg
• Delta Lake
• Hudi
• SQL

Data Quality

• Great Expectations
• Deequ

DevOps & DataOps

• Git, GitHub Actions / GitLab CI
• CloudFormation
• Docker
• Monitoring : CloudWatch, X-Ray, Grafana
• Testing : pytest, moto

Compétences Développées

Techniques

• Architecture de plateformes data modernes (Lake, Warehouse, Lakehouse)
• Développement de pipelines ETL/ELT scalables
• Optimisation de performances et coûts cloud
• Gestion de données à grande échelle
• Streaming et traitement temps réel
• Data modeling et schéma evolution

Méthodologiques

• Infrastructure as Code et GitOps
• Tests automatisés pour data pipelines
• Monitoring, alerting, observabilité
• Documentation technique et runbooks
• Gestion des incidents et post-mortems

Professionnelles

• Architecture de solutions pour clients
• Estimation de charges et planning projets data
• Collaboration data scientists, analystes, devs
• Présentation technique et vulgarisation
• Code reviews et mentorat

Avantages

• Certifications AWS financées
• Accès complet aux environnements AWS (avec crédits)
• Ressources de formation (cours, livres, conférences)
• Mentorat personnalisé par experts data
• Expérience projets clients complexes
• Portfolio technique valorisable
• Exposition aux aspects FinOps et business
• Possibilité d'embauche post-stage

Mais aussi...

750€ - 1800€