Data Engineer

Free-Work; Neuilly-sur-Seine; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un ingénieur données pour développer les mécanismes d'ingestion et construire un moteur de recherche de bases de données destinés aux métiers. Vous concevrez et maintiendrez les pipelines de transformation et orchestrerez les workflows.

Vous connecterez les données aux outils d'analyse métier et garantirez leur qualité, disponibilité et fiabilité. Maîtrise de GCP, SQL et outils d'orchestration requise; autonomie et rigueur indispensables.

Qualifications

• Maîtrise des flux d'ingestion de données internes et externes.
• Conception et maintenance de pipelines de transformation.
• Expérience avec les moteurs et orchestrations de données et qualité des données.
• Compétences en SQL et dans des environnements cloud (GCP).

Responsabilités

• Développer les mécanismes d'ingestion de données internes et externes.
• Participer à la mise en place d'un moteur de recherche de bases de données pour les métiers.
• Concevoir et maintenir les pipelines de transformation de données.
• Mettre en place et orchestrer les workflows de traitement.
• Connecter les données aux outils d'analyse métier.
• Garantir la qualité, la disponibilité et la fiabilité des données.

Connaissances

Ingestion de données

Conception et maintenance de pipelines

Orchestration de workflows

Qualité des données et fiabilité

Outils

GCP Cloud Run, IAM, BigQuery, GCS

Terraform

SQL

Python

Fivetran

Rclone

Airflow

Argo Workflow

dbt

Description du poste

• Développer les mécanismes d'ingestion de données internes et externes ;
• Participer à la mise en place d'un moteur de recherche de bases de données pour les métiers ;
• Concevoir et maintenir les pipelines de transformation de données ;
• Mettre en place et orchestrer les workflows de traitement ;
• Connecter les données aux outils d'analyse métier ;
• Garantir la qualité, la disponibilité et la fiabilité des données.

Compétences obligatoires

• GCP : Cloud Run, IAM, BigQuery, GCS
• Terraform
• SQL
• Ingestion de données publiques et internes (Python, Fivetran, Rclone ou équivalent)
• Orchestration de workflows (Airflow, Argo Workflow ou équivalent)
• Transformations de données avec dbt