Data Engineer H / F

Sapiens Consulting; Lille; Sur place; EUR 40 000 - 55 000; Plein temps

Résumé du poste

Une société de conseil en données recherche un Data Engineer pour gérer des projets de collecte et transformation de données. Vous serez responsable de la création de pipelines ETL et de l'intégration des données sur Azure. La maîtrise de Python, SQL et des technologies Azure est essentielle. Ce poste nécessite également une bonne connaissance de Power BI et une approche Agile. Vous devez avoir une formation Bac +5 et 2 à 3 ans d'expérience dans un rôle similaire.

Qualifications

• Minimum 2 à 3 ans d'expérience en tant que Data Engineer ou sur un poste similaire.
• Autonomie et capacité à travailler dans un environnement dynamique et en constante évolution.

Responsabilités

• Concevoir et développer des pipelines de collecte de données et de transformation (ETL).
• Assurer l'intégration et la gestion fluide des flux de données.
• Créer des scripts Python et des requêtes SQL pour manipuler et transformer les données.
• Utiliser Azure DevOps pour gérer les processus de déploiement.
• Fournir un soutien pour les projets Power BI.
• Travailler en étroite collaboration dans un cadre Agile.

Connaissances

Data Bricks, Python

SQL

Azure DevOps

Agilité

Power BI

Formation

Bac +5 en informatique, data science

Outils

Azure Synapse

Azure Data Lake

Description du poste

Nous recherchons un Data Engineer pour travailler sur des projets de collecte, transformation et gestion des flux de données au sein de notre équipe. Le poste requiert des compétences techniques en Data Bricks, Python, SQL et Azure DevOps pour assurer le bon déroulement des pipelines de données. De plus, des connaissances de base dans l'utilisation de Power BI et une approche agile basée sur Scrum sont attendues.

Le Data Engineer jouera un rôle clé dans la mise en place et l'optimisation des processus de gestion des données, en s'assurant de la qualité, de la transformation et de l'intégration des données dans des environnements Azure.

Responsabilités

• Collecte et transformation des données : Concevoir et développer des pipelines de collecte de données et de transformation (ETL) à l'aide des technologies adaptées (notamment Data Bricks).
• Gestion des flux de données : Assurer l'intégration et la gestion fluide des flux de données entre les différentes sources et plateformes.
• Développement Python & SQL : Créer des scripts Python et des requêtes SQL pour manipuler, nettoyer et transformer les données.
• Support Azure DevOps : Utiliser Azure DevOps pour gérer les processus de déploiement et d'intégration continue (CI / CD).
• Participation aux projets Power BI : Fournir un soutien de base pour les projets Power BI, notamment au niveau sémantique (compréhension des données et modèles).
• Méthodologie Agile : Travailler en étroite collaboration avec l'équipe produit dans un cadre Agile (méthodologie Scrum) pour assurer la livraison rapide et efficace des projets.

Compétences requises

Techniques

• Maîtrise des technologies Data Bricks, Python, SQL.
• Expérience avec Azure DevOps pour la gestion des déploiements et de l'intégration continue.
• Connaissance des processus ETL pour la gestion de la collecte, transformation et stockage des données.

Power BI

• Connaissances de base en sémantique des données et modèle de données dans Power BI.

Agilité

• Bonne maîtrise des méthodes Agile, avec une expérience en Scrum.

Compétences en communication

• Capacité à travailler efficacement en équipe, à échanger et à comprendre les besoins fonctionnels pour traduire ces besoins en solutions techniques.

Profil recherché

Formation

• Bac +5 en informatique, data science, ou dans un domaine similaire.

Expérience

• Minimum 2 à 3 ans d'expérience en tant que Data Engineer ou sur un poste similaire avec des compétences en développement Python, SQL et gestion des données.
• Autonomie et capacité à travailler dans un environnement dynamique et en constante évolution.

Compétences appréciées

• Expérience avec Azure Synapse, Azure Data Lake, ou autres outils cloud pour la gestion des données.
• Bonne capacité à comprendre et à travailler avec des données complexes et variées.
• Connaissance approfondie des bonnes pratiques en data engineering (qualité, transformation, gestion des données).