Consultant jobs in United States
Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)
KLETA
Consultant en Bilan de Compétences H / F
Orient'action Emploi
Consultant en Bilan de Compétences H / F
Orient'action Emploi
Senior Consultant, Market Access Insights
IQVIA
Consultant SAP Technico-Fonctionnel Senior (MM / Workflows) (IT) / Freelance
EBMC
Consultant(e) Senior HR & Transformation
Sia
Data Strategy, Data Governance & Data Management Consultant
Kyndryl
Connect with headhunters to apply for similar jobsConsultant sénior SI spécialiste Environnemental Social et Gouvernance (H / F)
SERYCE
Senior Delivery Consultant - Orphoz
McKinsey & Company
Chirurgien-Dentiste Consultant (H / F)
Itelis
CONSULTANT GOUVERNANCE & CONFORMITE (H / F)
SCASSI - Expert cybersécurité des systèmes critiques & embarqués
Consultant •e Product Owner Web et / ou Mobile
Listen too
Consultant en Bilan de Compétences H / F
Orient'action Emploi
Consultant Business Analyst- Assurance H / F
Onepoint
Consultant Business Analyst et Expert en conformité réglementaire bancaire
Operanka Associates
Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)
KLETA
Consultant IT en support fonctionnel Market Acces Pre Trade (IT) / Freelance
Agate IT
Consultant Senior Conduite du Changement & Communication F / H / X
WeMean
Consultant Contrôle Interne & Maîtrise des Risques (IT) / Freelance
Mon Consultant Indépendant
Consultant Technique Produits H / F
Vidal Associates Consulting And Search
Energy Consultant
NUS Consulting Group
CONSULTANT GOUVERNANCE & CONFORMITE (H / F)
SCASSI - Expert cybersécurité des systèmes critiques & embarqués
Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)
Job summary
Une entreprise technologique en Île-de-France recherche un expert en ingénierie des données pour concevoir et gérer des plateformes cloud-native sous Kubernetes. Le candidat idéal aura 5-8 ans d'expérience, dont au moins 3 ans en production sur Kubernetes et 2 ans sur Airflow. Des compétences en Big Data sont requises, ainsi qu'une expérience dans l'industrialisation de processus de traitement de données à grande échelle.
Qualifications
- 5-8 ans d'expérience, dont 3+ ans sur Kubernetes en production.
- Expérience requise sur des plateformes data à grande échelle.
- Compétences avérées en Big Data avec Hadoop.
Responsibilities
- Définir l'architecture Data sur Kubernetes.
- Packager et déployer Airflow avec haute disponibilité.
- Automatiser les processus via GitOps et CI/CD.
- Gérer la capacité et l'optimisation des coûts.
Skills
Concevoir, industrialiser et opérer des plateformes data cloud-native sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts.
- Architecture & design – Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité).
- Industrialisation & déploiement – Packager et déployer Airflow sur Kube (Helm chart officiel / Astro / OSS) avec HA, RBAC, autoscaling.
- Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.).
- Automatiser via GitOps (Argo CD / Flux) et CI / CD (GitHub Actions / GitLab CI).
- Opérations & SRE – Gérer la capacité, le autoscaling (HPA / VPA / Karpenter), la QoS et l’optimisation des coûts (requests / limits, Spot / Preemptible).
- Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA / SLO / SLI).
- Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security).
- Exécuter Spark / Flink / Beam sur K8s ; optimiser ressources, shuffle, I / O.
- Normaliser les environnements d’exécution (Docker base images, Python / Java runtimes).
- Mettre en place un data contract / schema registry, tests de données (Great Expectations / Deequ), lineage (OpenLineage / Marquez).
- Enablement des équipes data (templates, cookbooks), code reviews, mentorat et evangelism des bonnes pratiques.
Profil recherché5?8 ans d’expériences dont 3+ sur K8s en prod et 2+ sur Airflow en prod.
Expérience avérée de plateformes data à grande échelle (batch / streaming).
Expérience avérée Big Data Hadoop.
* The salary benchmark is based on the target salaries of market leaders in their relevant sectors. It is intended to serve as a guide to help Premium Members assess open positions and to help in salary negotiations. The salary benchmark is not provided directly by the company, which could be significantly higher or lower.
job faster
Follow us
