batchCooking/services/tech-step-intent-service/tests/test_text_normalization.py
Nicolas 18abae7b6a feat(recipes): migre la detection des tech steps de node-nlp vers un microservice Python spaCy
Remplace TechStepClassifierService's node-nlp (NlpManager) par
services/tech-step-intent-service, un microservice FastAPI/spaCy dedie
(PhraseMatcher pour le NER par synonymes, textcat pour la classification
d'intention). Corpus (TECH_STEP_TRAINING_DATA) toujours possede par
apps/api, pousse au service via POST /v1/train a chaque warm-up ; le
service ne touche jamais Postgres (meme posture que
services/tech-step-llm-worker).

Cote apps/api :
- intent-service-client.ts : client HTTP vers le nouveau service
- tech-step-matcher.ts : delegue NER + intent classification au client,
  logique pure (splitIntoClauses, seuil/fallback) inchangee
- env.ts : INTENT_SERVICE_BASE_URL/INTENT_SERVICE_SECRET (secret requis,
  service coeur non optionnel)
- server.ts : warm-up avec retry/backoff (service Python demarre a part)
- scripts/calibrate-tech-step-threshold.ts : recalibration empirique de
  CONFIDENCE_THRESHOLD contre le jeu d'eval existant
- node-nlp retire (package.json, node-nlp.d.ts, model.nlp du .gitignore)

docker-compose.yml : nouveau service tech-step-intent-service (pas de
port expose, healthcheck, app en depend). CI : job intent-service-test
(pytest) + le job test demarre le service en arriere-plan avant la suite
Mocha (jamais de mock d'un service interne, cf specs/dev-conventions.md).

Verifie : 26/26 tests pytest du service (dont les offsets caracteres
exacts de tech-step-matcher.test.ts), lint + build complets du monorepo,
smoke test HTTP reel bout en bout. La suite Mocha et docker compose
build/up n'ont pas pu etre executes dans cet environnement (pas de
Postgres/Docker disponibles ici) — a confirmer via la CI et en local.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-08-25 20:11:30 +02:00

21 lines
771 B
Python

"""Réplique les cas de `normalizeText` de `tech-step-matcher.test.ts`
(`apps/api/test/recipe-matching/tech-step-matcher.test.ts`) contre le port
Python — les deux fonctions doivent rester bit-pour-bit équivalentes."""
from intent_service.text_normalization import normalize_text
def test_lowercases_and_strips_accents():
assert normalize_text("Déglacer AU FOUR") == "deglacer au four"
def test_strips_a_variety_of_diacritics_including_cedilla():
assert normalize_text("Façon Œuf à l'Étouffée") == "facon œuf a l'etouffee"
def test_leaves_already_plain_text_unchanged_aside_from_casing():
assert normalize_text("Mix everything") == "mix everything"
def test_returns_an_empty_string_for_an_empty_input():
assert normalize_text("") == ""