---
title: Le score qui disait oui à tout le monde
description: Un score LLM laissait passer les quinze prospects refusés à la main.
  Réécrire le prompt fut simple, construire un banc d'essai honnête beaucoup moins.
url: https://sxnlabs.com/ai/2026/08/26/le-score-qui-disait-oui-a-tout-le-monde/
lang: fr
date: '2026-08-26T09:00:00+02:00'
tags:
- IA
- LLM
- Évaluation
- Prospection
---

# Le score qui disait oui à tout le monde

Mon outil de prospection interroge un modèle de langage sur chaque société remontée d'annuaires professionnels et de la presse économique locale. Il estime la probabilité qu'elle achète un développement sur mesure, puis écarte les notes inférieures à 0,40. Il laissait pourtant passer tous les candidats que j'avais ensuite refusés à la main.

Je l'ai découvert en reprenant les quinze prospects que j'avais refusés à la main. Tous avaient reçu 0,6 ou 0,8 et franchissaient donc le seuil. Sur cinquante-sept sociétés issues d'un annuaire régional, cinquante-trois portaient même la note 0,8. Le système répondait à chaque appel, mais son score ne séparait rien.

## Une note plausible ne vaut pas une décision

Quand l'appel réussissait, le modèle produisait un nombre crédible et une justification de quinze mots qui se tenait à la lecture. Rien à l'écran ne montrait que les résultats étaient presque identiques.

Le prompt demandait si une société pouvait utiliser un logiciel métier. La réponse honnête est oui dès qu'elle possède des processus, ce qui couvre presque toutes les entreprises. La question utile était plus exigeante : son besoin est-il assez spécifique et coûteux pour justifier un développement sur mesure ?

Ce filtre inerte consommait un appel par candidat, affichait un chiffre rassurant et laissait la sélection réelle au plafond de candidats traité à chaque exécution. L'ordre d'arrivée décidait à sa place.

## La référence qui n'existait pas

Réécrire le prompt a pris une soirée. Le mesurer a demandé d'auditer l'origine de chaque décision enregistrée dans la base.

| Données disponibles | Ce que j'en garde |
| --- | --- |
| 70 candidats poursuivis | Des promotions par lots de 6 à 10 dans la même minute, toutes restées au premier stade du pipeline. Elles ne représentent pas des jugements individuels et sont exclues. |
| 15 refus manuels | Des décisions prises candidat par candidat, conservées comme exemples négatifs. |
| 16 refus automatiques | Ils avaient été décidés par le filtre lui-même. Les réutiliser comme référence lui aurait demandé de confirmer ses propres décisions, ils sont donc exclus. |
| Clients existants | 14 cas réels après retrait d'une société présente dans les deux groupes, conservés comme exemples positifs. |

Le banc d'essai final contient donc quatorze clients et quinze refus manuels. Mes fiches clients n'avaient aucun champ d'activité, j'ai ajouté ces libellés depuis les sites des sociétés et le registre public en conservant chaque source.

Cette référence reste imparfaite. Dans deux cas, un client et un prospect refusé exercent des activités presque identiques, la broderie pour l'un et la rénovation pour l'autre. Un prompt qui ne lit qu'un nom et une activité ne peut pas les départager. Un résultat parfait signalerait probablement un surapprentissage.

## Deux taux, jamais un seul

Le banc d'évaluation affiche toujours les clients conservés et les refus correctement écartés, avec leurs dénominateurs. Un prompt qui répondrait 0,0 à tout le monde réussirait parfaitement sur les refus tout en éliminant chaque bon candidat.

Je calcule aussi un score de classement sur les 210 combinaisons possibles entre quatorze clients et quinze refus. Une note client supérieure compte un point, une égalité un demi-point et une note inférieure zéro. Ce score augmente quand le classement s'améliore, même si aucun candidat ne franchit encore le seuil de 0,40.

## Le résultat, et ce qu'il ne prouve pas

Le nouveau prompt impose trois conditions cumulatives, un barème explicite et une consigne de sévérité. J'ai réglé la température à zéro et vérifié la stabilité des notes sur des exécutions répétées.

| Mesure | Ancien prompt | Nouveau prompt |
| --- | ---: | ---: |
| Clients au-dessus du seuil | 11/14 | 10/14 |
| Refus encore au-dessus du seuil | 15/15 | 3/15 |
| Score de classement | 0,49 | 0,69 |

Le gain vient avec un coût : le nouveau filtre élimine un client réel de plus. Les autres limites empêchent d'en faire une validation définitive :

- les critères négatifs viennent de ces mêmes quinze refus, donc le résultat est en partie mesuré sur les cas qui ont servi à écrire le prompt ;
- quatre clients restent sous le seuil, une association, un éditeur de logiciel, un siège de groupe et une agence de communication ;
- les réponses progressent par paliers de 0,05 ou 0,1, donc ajuster le seuil au centième inventerait une précision absente du modèle.

## La démonstration commence par le banc d'essai

Une fonction d'IA peut répondre à chaque appel et rester inutile. Pour l'évaluer, je demande désormais :

1. quelles erreurs coûtent réellement quelque chose au métier ;
2. qui a produit les décisions servant de référence ;
3. quels cas ont été exclus, corrigés ou utilisés pour écrire le prompt ;
4. comment les faux positifs et les faux négatifs évoluent après chaque changement.

Une démonstration montre que le modèle sait produire une réponse plausible. Ce banc d'essai vérifie s'il prend une décision plus utile que le mécanisme qu'il remplace, mais je ne peux pas encore chiffrer le travail économisé : les quinze refus ont servi à écrire et à mesurer le prompt. La prochaine étape consiste à enregistrer les décisions humaines sur de nouveaux candidats, puis à comparer les deux erreurs avant de conserver le seuil de 0,40.