Parlons de votre projetParlons-en
Retour aux réalisations

Projet de formation · Classification de texte · ML & LLM

ZenAssist
La réclamation arrive. Le conseiller garde la main.

Classification de réclamations avec Python et scikit-learn, modèle servi par FastAPI et interface Next.js. Une comparaison concrète entre machine learning et LLM, jusqu’à l’intégration dans l’application.

Un projet présenté par Joseph Truffinet, fondateur de Keseul.

ZenAssistL’application, à explorer.
Ouvrir en grand

Version intégrée issue du code de l’application, sans compte à créer. Le vrai modèle TF-IDF + régression logistique classe les exemples fictifs ou votre propre texte. Il a été entraîné sur des réclamations financières en anglais, parmi 18 catégories. Environ 9 Mo sont chargés à la première analyse ; le calcul s’effectue sur votre appareil, sans envoi du texte ni appel à un LLM. Les modifications restent dans cette session.

DERRIÈRE LE PROJET

Faut-il un LLM pour classer les réclamations clients ?

Une suggestion de catégorie pour aider au tri des réclamations, avec confirmation ou correction par le conseiller.

COMPRENDRE

Le point de départ.

Lire et classer chaque réclamation mobilise le conseiller. Une mauvaise catégorie peut aussi compliquer le traitement du dossier.

CONCEVOIR & CONSTRUIRE

Le projet, concrètement.

Comparaison de modèles de machine learning et de LLM, puis intégration de deux approches dans le starter Next.js. Une connexion LLM via OpenRouter et un modèle linéaire entraîné en Python, exposé par FastAPI. Le conseiller valide la catégorie avant son enregistrement dans PostgreSQL.

  • Next.js
  • React · JavaScript
  • Python
  • FastAPI
  • scikit-learn
  • TF-IDF
  • Régression logistique
  • OpenRouter
  • PostgreSQL

Le périmètre de la mission.

Entraînement et évaluation des modèles, intégration LLM côté serveur, service d’inférence Python et parcours de validation dans l’interface Next.js existante.

Entraîner un modèle linéaire
Vectorisation des textes avec TF-IDF, puis régression logistique scikit-learn avec pondération des classes. Le modèle retenu est sélectionné sur le F1 macro de validation ; un jeu de test séparé sert à l’évaluation.
Passer du notebook à l’application
Le pipeline est exporté avec sa version et ses métadonnées, puis chargé au démarrage de FastAPI. Next.js envoie le texte au service Python ; la catégorie parmi 18 possibles reste une suggestion jusqu’à confirmation dans PostgreSQL.
Comparer avec une approche LLM
Une autre version connecte OpenRouter via une API compatible OpenAI : exemples dans le prompt, réponse structurée et validation de la catégorie. Le choix ML ou LLM repose sur la qualité, la latence et le coût, pas sur la taille du modèle.

CE QUE CELA CHANGE

Un tri assisté, avec le dernier mot au conseiller.

Qualité, délai de réponse et coût servent à choisir l’approche. Le conseiller peut corriger la suggestion avant de la confirmer.

Parlons d’un besoin similaire

ET POUR VOTRE ENTREPRISE ?

Un besoin similaire
dans votre activité ?

Peut-on classer un texte sans consommer de tokens LLM ?

Oui. Cette démo exécute le vrai modèle TF-IDF + régression logistique dans votre navigateur, à partir de ses paramètres entraînés avec scikit-learn. Le texte reste sur votre appareil et aucun fournisseur LLM n’est appelé. Le modèle couvre 18 catégories de réclamations financières en anglais ; il ne s’agit pas d’un classifieur généraliste. Le service Python/FastAPI décrit dans le projet original est remplacé ici par une inférence locale dont les prédictions ont été comparées à celles de Python.

Comment comparer un modèle ML et un LLM pour classer des tickets ?

Il faut utiliser un jeu de test indépendant et commun, fixer les critères avant la comparaison et examiner les erreurs par catégorie. Qualité globale, équilibre entre classes, latence et coût n’expriment pas la même chose. Les conditions de mesure doivent être précisées.

Une catégorie prédite suffit-elle à envoyer le ticket à la bonne équipe ?

Non. Une catégorie de produit n’est pas nécessairement une équipe destinataire. Il faut définir cette correspondance métier, prévoir les cas ambigus et décider quand le conseiller confirme ou corrige la suggestion.

Commençons par ce qui vous pèse.

Quelle tâche aimeriez-vous
ne plus refaire lundi ?

Décrivez votre quotidien et vos outils. On identifie ensemble ce qui mérite d’être simplifié, automatisé ou délégué.

Parlons de ce qui me ralentit

Joseph · votre interlocuteur

Partons de ce qui vous freine.

Quelques questions pour préparer un échange sur votre besoin.

Étape 1 sur 4

Qu’est-ce qui vous ralentit aujourd’hui ?

Choisissez la situation la plus proche pour continuer.