Nicolas
065ef2a31a
Changement d'architecture demande par l'utilisateur : le dataset d'entrainement (TECH_STEP_TRAINING_DATA) quitte apps/api pour vivre entierement dans services/tech-step-intent-service (intent_service/training_data.py). Ce service est desormais autonome : il s'entraine lui-meme une seule fois, a son propre demarrage (PipelineRegistry.initialize, dans le lifespan FastAPI), sans plus dependre d'un POST /v1/train pousse par apps/api (route supprimee). apps/api ne connait plus aucune technique/synonyme, uniquement le resultat de POST /v1/process. Corpus enrichi avec les 48 techniques du lexique fourni (Arroser, Appertiser, Braiser, Caraméliser, Confire, Julienne/Brunoise/Mirepoix/ Paysanne, Cuire à blanc/au bain-marie/à l'étouffée, Déglacer variantes, Emulsionner, Glacer, Pocher, Réduire, Suer, Zester, etc.), soit 74 techniques au total (26 + 48). Integration complete bout en bout : - reference-seed-data.ts : 48 nouvelles entrees TECH_STEPS - apps/web/locales/fr/translation.json : libelles francais correspondants - "Mitonner" fondu comme synonyme de simmer (pas une technique distincte, sa propre definition le dit) - "Blanchir un oeuf" (whiskPale) distingue de "Blanchir un legume" (blanch, existant) via des synonymes en phrase complete plutot qu'au mot nu — filter_spans (deja en place) resout la collision par specificite Impact performance mesure : le corpus elargi (74 classes vs 26) rend l'entrainement bien plus lent a nombre d'iterations egal (150 iterations depassait 17 minutes par run de test) — reduit a 40 iterations apres mesures repetees en local (~200s/locale, ~400s pour fr+en combines). docker-compose.yml (healthcheck start_period 600s), CI (timeout curl 600s) et le README du service documentent ce nouveau temps de demarrage. CONFIDENCE_THRESHOLD recalibre a 0.2 par verification manuelle (0.75 puis 0.45 ne tenaient plus compte tenu du nombre de classes) — marque explicitement comme placeholder en attendant une vraie repasse de calibrate-tech-step-threshold.ts (necessite Postgres, indisponible dans cet environnement). Verifie : 28/28 tests pytest du service (suite complete re-ecrite pour s'entrainer une seule fois par session sur le vrai corpus, fixture partagee dans conftest.py), lint + build complets du monorepo. La suite Mocha d'apps/api reste a confirmer via CI (le root hook mocha n'attend plus l'entrainement, seulement CI's propre attente sur /health). Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
57 lines
1.9 KiB
Python
57 lines
1.9 KiB
Python
"""Vérifie le format des lignes de log produites par
|
|
`logging_config._JsonFormatter` — ce que `routes/process.py` et
|
|
`pipeline_registry.py` utilisent pour journaliser l'input/l'output de
|
|
chaque appel NLP et le déroulement de l'entraînement au démarrage."""
|
|
|
|
import json
|
|
import logging
|
|
|
|
from intent_service.logging_config import _JsonFormatter
|
|
|
|
|
|
def _make_record(**extra: object) -> logging.LogRecord:
|
|
record = logging.LogRecord(
|
|
name="intent_service.routes.process",
|
|
level=logging.INFO,
|
|
pathname=__file__,
|
|
lineno=1,
|
|
msg="tech-step NLP process",
|
|
args=(),
|
|
exc_info=None,
|
|
)
|
|
for key, value in extra.items():
|
|
setattr(record, key, value)
|
|
return record
|
|
|
|
|
|
def test_formats_a_record_as_json_with_timestamp_level_and_message():
|
|
record = _make_record()
|
|
payload = json.loads(_JsonFormatter().format(record))
|
|
assert payload["message"] == "tech-step NLP process"
|
|
assert payload["level"] == "info"
|
|
assert "timestamp" in payload
|
|
|
|
|
|
def test_merges_extra_fields_into_the_top_level_payload():
|
|
record = _make_record(
|
|
locale="fr",
|
|
text="faire fondre le beurre",
|
|
entities=[{"uid": "melt", "start": 0, "end": 12}],
|
|
intent="melt",
|
|
score=0.93,
|
|
)
|
|
payload = json.loads(_JsonFormatter().format(record))
|
|
assert payload["locale"] == "fr"
|
|
assert payload["text"] == "faire fondre le beurre"
|
|
assert payload["entities"] == [{"uid": "melt", "start": 0, "end": 12}]
|
|
assert payload["intent"] == "melt"
|
|
assert payload["score"] == 0.93
|
|
|
|
|
|
def test_preserves_accented_characters_literally_not_escaped():
|
|
# `ensure_ascii=False` — un `docker logs` humain doit pouvoir lire
|
|
# directement "poêle", pas "poêle".
|
|
record = _make_record(text="Dans une poêle chaude")
|
|
line = _JsonFormatter().format(record)
|
|
assert "poêle" in line
|
|
assert "\\u00ea" not in line
|