Senior Data Engineer / Architect

Step-Up; Bordeaux; Sur place; EUR 90 000 - 130 000; Plein temps

Résumé du poste

STEP UP est à la recherche d’un Data Engineer Senior pour concevoir et déployer des data products sur une plateforme Microsoft Fabric. Vous réaliserez l’ingestion, les couches bronze/silver/gold et consoliderez les modèles analytiques, avec une attention à l’implémentation et à l’évolutivité.

Le rôle combine livraison de cas d’usage concrets et mise en place de patterns réutilisables pour les domaines futurs, avec une collaboration internationale en anglais.

Qualifications

• Expérience d’au moins 5 ans en data engineering, dont 2 ans sur Spark ou une plateforme lakehouse.
• Maîtrise de Python et PySpark, DataFrames Spark et fonctions utilisateur.
• SQL avancé (fenêtres, CTE, jointures, tuning).
• Expérience pratique avec Delta Lake et Parquet (merge, upsert, évolution de schéma).
• Conception de modèles analytiques et architectures medallion (bronze/silver/gold).
• Connaissance de Fabric, Databricks, Synapse ou Data Factory et volonté de travailler sur Fabric.
• CI/CD pour les données avec Git et pipelines de déploiement.
• Gestion opérationnelle des flux: scheduling, dépendances, retries et alerting.
• Validation automatisée de schéma et intégrité référentielle.

Responsabilités

• Implémenter l’ingestion des sources de données (ex. Salesforce) dans Data Platform sur Fabric, loads complets et incrémentiels.
• Concevoir et implémenter les couches medallion (bronze/silver/gold) et déplacer les logiques métier vers le data product.
• Concevoir des modèles analytiques pour le reporting et les consommations futures, avec éventuelle intégration SAP S/4HANA.
• Mettre en place des contrats de données comme checks exécutables et assurer leur traçabilité.
• Configurer l’orchestration, le scheduling, le monitoring et les retries des pipelines.
• Documenter les implémentations pour l’exploitation future et les domaines métiers.

Connaissances

Python

PySpark

SQL

Delta Lake

Parquet

Data modeling

CI/CD

Data contracts

Orchestration

Security basics

Outils

Microsoft Fabric

Databricks

Azure Synapse

Azure Data Factory

GitHub

Azure DevOps

Description du poste

STEP UP est une société d'ingénierie experte en pilotage de projets industriels et informatiques (+ 250 collaborateurs sur 11 agences en France), plaçant le potentiel humain comme 1er vecteur d'excellence et de performance en entreprise.

Oubliez les sociétés d'ingénierie qui ne valorisent que vos seules compétences, chez STEP UP, nous visons également l'adéquation entre votre personnalité et la culture d'entreprise de nos clients. Cela se traduit pour vous par une différence fondamentale en termes de bien être, d'épanouissement au travail et de succès dans vos missions.

Ce que nous vous propose :

• Un cadre de travail épanouissant, stimulant et collaboratif, nous sommes certifiés entreprise où il fait bon vivre !
• Des projets innovants et variés.
• La possibilité de se perfectionner continuellement avec des formations internes.
• Des perspectives d'évolution de carrière.
• Un accompagnement individualisé avec un programme de développement du potentiel humain.
• Un programme de cooptation.

Et bien sûr, nous prenons en charge 70% de votre mutuelle santé et encourageons financièrement la mobilité douce.

Le poste :

We are looking for senior external Data Engineers / Architects to help build the first reusable data products on a new federated Microsoft Fabric data platform. The role is hands-on: the selected profiles will implement end-to-end products from ingestion through medallion layers to a documented gold layer that business users, reports, applications, and AI agents can consume. The initial product focus is Salesforce CRM data, with SAP S/4HANA ERP knowledge useful as an additional advantage. The platform is still being built, so the engagement combines delivery of concrete use cases with setting patterns that future domains can reuse.

Data product and pipeline engineering

Build ingestion from customer data sources (i.e. Salesforce) into Data Platform based on Microsoft Fabric as the primary source focus, ncluding full and incremental loads with stable delta logic over time. DEKRA Compose Job description - Senior Data Engineer / Architect 1- Implement data source ingestion, including source data contract validation, using our microservice-based scalable Data Core ingestion framework.

• Implement medallion layers in Fabric: raw data in bronze, cleansed and conformed data in silver, and business-ready reusable data products in gold.
• Move business logic that currently sits in reports or the data warehouse into the data product together with business and data analysts.
• Design and implement analytical models that support reporting, downstream consumption, and future domain reuse, with SAP S/4HANA integration knowledge helpful where relevant.

Quality, operations, and delivery

• Implement data contracts as executable checks so deliveries either meet agreed schema and quality expectations or fail visibly.
• Set up orchestration, scheduling, monitoring, retries, and operational handling for the pipelines owned by the team.
• Work with Git and deployment pipelines across development, test, and production environments.
• Document implementations so the platform team and business domains can operate and extend them after handover.

Profil recherché :

• Engineering core - Strong Python and PySpark experience, including the Spark DataFrame API, user-defined functions, partitioning, joins, and performance tuning on real data volumes.
• Advanced SQL skills, including window functions, common table expressions, set operations, execution plans, and query tuning.
• Hands-on Delta Lake and Parquet experience, including merge and upsert patterns, schema evolution, partitioning strategy, and table maintenance such as OPTIMIZE and VACUUM.
• Strong data modeling skills, including dimensional modeling, star schemas, slowly changing dimensions, and judgment on what belongs in silver versus gold layers.
• Platform and delivery - Microsoft Fabric experience, or a transferable lakehouse background from Databricks, Azure Synapse, or Azure Data Factory, with willingness to work in Fabric.
• Practical medallion architecture experience, not only theoretical familiarity.
• CI/CD for data with Git-based development, branching, code review, and deployment across separated environments using Azure DevOps or GitHub.
• Operational experience with scheduling, dependencies, retries, alerting, and root cause analysis when loads fail.
• Automated validation of schema, completeness, ranges, and referential integrity, with clear behavior on failure.
• Awareness of access and protection basics, including row-level and column-level security, Microsoft Entra ID as identity source, and handling of personal data in pipelines.
• At least five years in data engineering, including at least two years on Spark or a lakehouse platform.
• Proven delivery of at least one data product or data pipeline from a blank page into production, followed by operational support.
• Ability to work in English in a distributed team.