Python Flink Data Ingénieur

Onyx-Conseil; Paris; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un expert Python pour des environnements professionnels et en production. Vous manipulerez des données, développerez des pipelines avec Airflow et des opérateurs personnalisés, et travaillerez sur des intégrations Kafka et Elasticsearch.

Vous maîtriserez les outils de qualité de code (Black, Ruff, Pylint, pre-commit), le packaging Python et les tests avec pytest. Des compétences en Kubernetes et CI/CD seront appréciées.

Qualifications

• Maîtrise avancée de Python en production et en contexte professionnel.
• Maîtrise des décorateurs, générateurs, context managers, et métaclasses.
• Expérience avec tests: pytest, mocking, fixtures et couverture.
• Compétences en CI/CD et GitOps, Kubernetes et Airflow.
• Manipulation de données avec pandas et PyArrow (Parquet/ORC).
• Connaissance des clients Kafka et Elasticsearch en Python.

Connaissances

Python

Decorators

Generators

Context managers

Metaclasses

Mypy typing

Python packaging

Dependency management

Pytest

Mocking

Fixtures

Parametrized tests

Code coverage

Asyncio

aiohttp

Kubernetes

CI/CD

GitOps

Airflow

Pandas

PyArrow

Parquet/ORC

Elasticsearch

Kafka Python

Outils

Kafka clients

Elasticsearch client

Airflow operators/hooks

Python packaging tools

pytest-mock

Black

Ruff

Pylint

Pre-commit

kubectl

Kubernetes tooling

Description du poste

• - Expertise Python en contexte professionnel et en production
• - Maîtrise des paradigmes avancés : décorateurs, générateurs, context managers, métaclasses, typage statique avec mypy
• - Conception de packages Python structurés et réutilisables, gestion de dépendances
• - Écriture de tests robustes : pytest, mocking, fixtures, tests paramétrés, couverture de code
• - Développement de clients Kafka en Python (confluent-kafka, kafka-python) : producteurs, consommateurs, gestion des offsets et des erreurs
• - Expérience avec les clients Elasticsearch en Python (elasticsearch-py) pour l'indexation et la recherche
• - Développement d'opérateurs et de hooks Airflow custom en Python
• - Manipulation de données avec pandas et PyArrow pour les formats colonnaires (Parquet, ORC)
• - Maîtrise des outils de qualité de code : black, ruff, pylint, pre-commit
• - Bonne connaissance de la programmation asynchrone (asyncio, aiohttp) pour les pipelines I/O-bound
• - Maitrise kubernetes et CI/CD (gitops, etc )