Python Data Engineer – Kafka, Airflow & Pandas Expert

Onyx-Conseil; Paris; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un expert Python pour des environnements professionnels et en production. Vous manipulerez des données, développerez des pipelines avec Airflow et des opérateurs personnalisés, et travaillerez sur des intégrations Kafka et Elasticsearch.

Vous maîtriserez les outils de qualité de code (Black, Ruff, Pylint, pre-commit), le packaging Python et les tests avec pytest. Des compétences en Kubernetes et CI/CD seront appréciées.

Qualifications

• Maîtrise avancée de Python en production et en contexte professionnel.
• Maîtrise des décorateurs, générateurs, context managers, et métaclasses.
• Expérience avec tests: pytest, mocking, fixtures et couverture.
• Compétences en CI/CD et GitOps, Kubernetes et Airflow.
• Manipulation de données avec pandas et PyArrow (Parquet/ORC).
• Connaissance des clients Kafka et Elasticsearch en Python.

Connaissances

Python

Decorators

Generators

Context managers

Metaclasses

Mypy typing

Python packaging

Dependency management

Pytest

Mocking

Fixtures

Parametrized tests

Code coverage

Asyncio

aiohttp

Kubernetes

CI/CD

GitOps

Airflow

Pandas

PyArrow

Parquet/ORC

Elasticsearch

Kafka Python

Outils

Kafka clients

Elasticsearch client

Airflow operators/hooks

Python packaging tools

pytest-mock

Black

Ruff

Pylint

Pre-commit

kubectl

Kubernetes tooling

Description du poste

Onyx-Conseil recherche un expert Python pour des environnements professionnels et en production. Vous manipulerez des données, développerez des pipelines avec Airflow et des opérateurs personnalisés, et travaillerez sur des intégrations Kafka et Elasticsearch.

Vous maîtriserez les outils de qualité de code (Black, Ruff, Pylint, pre-commit), le packaging Python et les tests avec pytest. Des compétences en Kubernetes et CI/CD seront appréciées.