Data Engineer PySpark H/F

NEXTON; Paris; On-site; EUR 70,000 - 95,000; Full time

Job summary

NEXTON recrute un Data Engineer PySpark H/F en CDI à Paris, dans l'univers des médias et du data management.

Vous concevrez et piloterez des pipelines PySpark, optimiserez les performances et travaillerez sur des architectures Big Data sur AWS (S3, EMR, Snowflake). Vous utiliserez SQL, Snowflake, dbt et Airflow pour orchestrer les flux de données.

Qualifications

• Concevoir et maintenir des pipelines PySpark massifs.
• Modéliser des données et appliquer des techniques avancées de traitement.
• Mettre en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake).
• Développer en SQL, Snowflake, Scala et utiliser Spark pour le traitement massif.
• Automatiser les workflows avec Airflow et DBT.
• Concevoir et exposer des APIs performantes pour servir les données.

Responsibilities

• Concevoir et maintenir des pipelines de données massives en PySpark.
• Construire et optimiser des modèles de données et des flux de traitement.
• Mettre en place des architectures Big Data sur AWS et orchestrer les pipelines.
• Développer en SQL, Snowflake et Scala; utiliser Spark et Gitlab CI/CD.
• Automatiser les workflows avec Airflow et DBT pour orchestrer les pipelines.
• Concevoir des APIs pour servir les données (Scala, Spark, Cloud).
• Optimiser les performances et garantir la scalabilité du système.

Skills

PySpark

SQL

dbt

AWS Cloud

Terraform

Gitlab CI/CD

Apache Spark

Airflow

API design

Scala

Tools

Snowflake

S3

EMR

Lambda

Redshift

IAM

Kinesis

DynamoDB

GitLab CI/CD

Job description

Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une Factory et la dynamique d'une ESN ! Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et d'innovation digitale.

Fondée en 2011, NEXTON réunit aujourd'hui une équipe de plus de 450 experts spécialisés dans le digital, le design, l'agilité, le produit et le développement. Ensemble, ils créent un écosystème riche en connaissances et en compétences diversifiées.

Description du poste

NEXTON recrute un Data Engineer PySpark H/F, en CDI, à Paris !

Ton futur environnement de travail :

Au sein d'un de nos clients grands comptes, dans l'univers des médias, tu interviens dans le programme Data chargé d'aider à la prise décisionnelle.

En tant que Data Engineer, tes principales missions sont :

• Tu Conçois, développeet maintientdes pipelines de traitement de données massives en PySpark.
• Tu construis et optimisesdes modèles de données et des techniques avancées de traitement de données.
• Tu mets en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake...).
• Tu développes en SQL, Snowflake, Scala, Gitlab CI/CD et exploiter Apache Spark pour le traitement massif des données.
• Tu automatisesles workflows avec Apache Airflow et DBT pour orchestrer les pipelines.
• Tu conçois et exposes des APIs performantes pour servir les données (Scala, Spark, Terraform, Gitlab CI CD, ECS Fargate, Kinesis, DynamoDB, S3, etc.).
• Tu optimisesles performances et garantisla scalabilité du système pour gérer un grand volume d’utilisateurs.

Tu possèdes au minimum 5ans d'expérience dans le développement de projets Data.

Tes qualités et compétences techniques sont les suivantes :

Maîtrise approfondie de PySpark (développement distribué, optimisation des jobs Spark, gestion de la mémoire et du partitionnement).

Solide expertise en SQL (requêtage complexe, optimisation de performances, modélisation de data warehouses).

Expérience confirmée sur dbt (développement de modèles, macros, tests de données, documentation).

Connaissance avancée de l'écosystème Cloud AWS (S3, Glue, EMR, Redshift, IAM, Lambda, etc.).

Maîtrise de Terraform pour le provisionnement et la gestion automatisée des ressources Cloud.

Bonnes pratiques de développement logiciel (Git, CI/CD, tests unitaires et d'intégration).

Tes qualités et compétences transverses sont les suivantes :

Esprit d'analyse et de résolution de problèmes : Capacité à diagnostiquer rapidement les goulets d'étranglement sur les traitements de données et à proposer des solutions efficaces.

Communication : Aptitude à vulgariser des sujets techniques auprès d'interlocuteurs métiers et techniques.

Travail en équipe : Capacité à collaborer au sein d'équipes pluridisciplinaires en environnement Agile.

Autonomie et proactivité : Capacité à prendre des initiatives et à être force de proposition sur les choix d'architecture Data.

Curiosité technique : Veille active sur les évolutions des technologies Cloud et Data.

Informations complémentaires

Pourquoi choisir NEXTON ?

Nous te proposons des avantages et des opportunités pour enrichir ton expérience professionnelle et personnelle tout au long de l'année :

Des communautés dynamiques pour t'accompagner dans ton parcours.

Des Meet Up pour développer tes compétences.

Des formations pour te réinventer et progresser.

Des événements sportifs et festifs pour t'épanouir.

Un forfait mobilité durable pour faciliter ton quotidien et encourager la mobilité douce.

Un téléphone de dernière génération pour rester connecté.

En cliquant sur le lien ci-dessus ou sur tout autre lien externe figurant dans cette publication, vous quittez ce site et accédez à un site web tiers dont les conditions d'utilisation et la politique de confidentialité s'appliquent.