Nicolas
f2fd3b961a
Suite a une suggestion de revue de code : le textcat n'apprenait jusqu'ici que sur entry.utterances, jamais sur entry.synonyms (deja utilises pour le PhraseMatcher). Ajouter le mot-cle isole comme exemple positif de sa propre technique ameliore radicalement la confiance sur les cas ancres sans paraphrase entrainee. Mesures sur le vrai corpus (74 techniques) : - 40 iterations + synonymes (749 exemples vs 286 avant) : gain de confiance massif (simmer 0.25->0.60, cook 0.33->0.60, bake 0.34->0.86) mais temps d'entrainement multiplie par 2.6 (~535s/locale, ~17min combine pour fr+en — inacceptable). - 15 iterations + synonymes : retour a un temps raisonnable (~205s) mais qualite pire qu'avant (simmer/cook repassent sous le seuil de confiance) — les exemples supplementaires ne compensent pas la perte d'epoques a ce point. - 25 iterations + synonymes (retenu) : ~336s/locale (~670s combine), meilleur compromis — tous les cas mesures s'ameliorent par rapport a la config precedente (simmer 0.25->0.31, cook 0.33->0.38, bake 0.34->0.62, zest 0.64->0.66, julienne 0.56->0.76, compote 0.76->0.78), bruit hors-vocabulaire toujours negligeable (~0.02). CONFIDENCE_THRESHOLD releve de 0.2 a 0.25 (le cas le plus faible mesure est maintenant 0.31, avec plus de marge qu'avant). docker-compose.yml (start_period 900s) et la CI (timeout 900s) ajustes pour le nouveau temps de demarrage (~11 min pour fr+en combines, contre ~7 min avant). Deux autres pistes de la meme revue examinees et non retenues avec justification : classe __OTHER__/negatifs hors-domaine (le bruit mesure est deja bas, ~0.02, sans le symptome que cette classe corrige) et boost de score post-traitement si le NER confirme l'intention predite (casserait la garantie "score brut, jamais corrige par l'ancre" que services/tech-step-llm-worker's audit de faible confiance depend explicitement d'avoir, voir le commentaire de TechStepClauseClassification dans tech-step-matcher.ts). Verifie : 28/28 pytest (dont le vrai corpus complet, ~10.5 min pour la suite complete), lint + build du monorepo. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
80 lines
3.1 KiB
Python
80 lines
3.1 KiB
Python
"""Vérifie le round-trip entraînement -> prédiction du `textcat` (la partie
|
|
"comprendre le sens, pas juste les mots clés" du pipeline — voir le
|
|
commentaire de `tech-step-matcher.ts` côté apps/api pour la motivation
|
|
d'origine)."""
|
|
|
|
from intent_service.locale_pipeline import LocalePipeline, TrainEntry
|
|
|
|
_ENTRIES = [
|
|
TrainEntry(
|
|
uid="melt",
|
|
synonyms=["faire fondre"],
|
|
utterances=[
|
|
"faire fondre le beurre à feu doux",
|
|
"laisser fondre le beurre dans la poêle",
|
|
"jusqu'à ce que le beurre ait disparu",
|
|
"jusqu'à ce que le beurre ait complètement disparu dans la poêle",
|
|
],
|
|
),
|
|
TrainEntry(
|
|
uid="boil",
|
|
synonyms=["bouillir"],
|
|
utterances=[
|
|
"porter l'eau à ébullition",
|
|
"faire bouillir l'eau salée",
|
|
"laisser bouillir quelques minutes",
|
|
"porter à ébullition puis baisser le feu",
|
|
],
|
|
),
|
|
]
|
|
|
|
|
|
def test_train_returns_label_example_and_synonym_counts():
|
|
pipeline = LocalePipeline("fr")
|
|
label_count, example_count, synonym_count = pipeline.train(_ENTRIES)
|
|
assert label_count == 2
|
|
# `example_count` couvre les utterances *et* les synonyms (voir
|
|
# LocalePipeline.train — les synonymes sont aussi des exemples
|
|
# d'entraînement pour le textcat, pas seulement pour le PhraseMatcher).
|
|
expected_examples = sum(len(entry.utterances) + len(entry.synonyms) for entry in _ENTRIES)
|
|
assert example_count == expected_examples
|
|
assert synonym_count == sum(len(entry.synonyms) for entry in _ENTRIES)
|
|
assert pipeline.is_trained is True
|
|
|
|
|
|
def test_classifies_a_paraphrase_never_using_the_techniques_own_verb():
|
|
# Le cas motivant tout le pipeline (voir tech-step-matcher.ts) : aucune
|
|
# forme de "fondre" dans cette phrase, mais elle ne peut raisonnablement
|
|
# signifier que `melt` une fois le textcat entraîné sur les paraphrases
|
|
# ci-dessus.
|
|
pipeline = LocalePipeline("fr")
|
|
pipeline.train(_ENTRIES)
|
|
|
|
result = pipeline.process("jusqu'à ce que le beurre ait disparu dans la poêle")
|
|
assert result.intent == "melt"
|
|
assert result.score > 0.5
|
|
|
|
|
|
def test_empty_entries_leaves_the_pipeline_untrained():
|
|
pipeline = LocalePipeline("fr")
|
|
pipeline.train([])
|
|
assert pipeline.is_trained is False
|
|
result = pipeline.process("faire fondre le beurre")
|
|
assert result.intent is None
|
|
assert result.entities == []
|
|
|
|
|
|
def test_retraining_replaces_the_previous_textcat_rather_than_accumulating():
|
|
# `textcat` (exclusive_classes) exige >= 2 labels (voir la note dans
|
|
# LocalePipeline.train) — le second entraînement garde donc 2 entrées,
|
|
# mais remplace "boil" par une technique différente ("chop"), pour
|
|
# vérifier que "boil" ne peut plus jamais ressortir après coup (pas de
|
|
# fusion incrémentale — voir la doc de `LocalePipeline.train`).
|
|
pipeline = LocalePipeline("fr")
|
|
pipeline.train(_ENTRIES)
|
|
|
|
chop_entry = TrainEntry(uid="chop", synonyms=["couper"], utterances=["couper les légumes en dés"])
|
|
pipeline.train([_ENTRIES[0], chop_entry])
|
|
|
|
result = pipeline.process("porter l'eau à ébullition")
|
|
assert result.intent != "boil"
|