homelab-codex-ws/jobs/documents-ingest/eval
oskar a14909d921 eval(retrieval): przekwalifikuj N2 na mail_query M5, nowa kontrolka N3
Regresja po zamknieciu Etapu B fazy mailowej dala FAIL wylacznie na
kryterium 3: kontrolka N2 "piaskownica plastikowa" spadla do 0.4924
(flat/hybrid) na mail przedszkolny "Materialy plastyczne" -- kolizja
leksykalna ponizej progu 0.50. Rownoczesnie odrzucone w Etapie A
zapytanie "piaskownica plac zabaw wspolnota" ma dzis realne odpowiedzi
(maile administracji wspolnoty holc.waw.pl, 2023). To nie regresja
retrievalu -- korpus urosl o tresc, ktorej w Etapie A nie bylo, wiec
kontrolka negatywna stracila waznosc.

- N2 wycofana; pelna historia decyzji (pilot, 2026-07-23, 2026-08-06)
  zachowana jako komentarz w queries.yaml, nie skasowana.
- M5: "wymiana piasku w piaskownicy na placu zabaw wspolnoty",
  expected_envelope 6ab218df-...@holc.waw.pl, d1=0.2858, hit3=y.
  Wariant z "wymiana piasku" zamiast doslownego sformulowania operatora,
  bo tamto daje 0.4562/0.4597 -- oba nad HIT_THRESHOLD 0.45.
- N3: "sterylizacja kota cennik kliniki weterynaryjnej", bar 0.50 bez
  zmian, 0.5257/0.5799/0.5257. Dwaj odrzuceni kandydaci i lista tematow
  majacych realna odpowiedz w korpusie udokumentowane w komentarzu.
- retrieval_eval.py: tylko komentarz -- mail_hit nadal ocenia sie
  source-matchem, expected_envelope M5 jest dokumentacyjne.

Weryfikacja: retrieval_eval.py --transport http --base-url
http://192.168.31.5:8230 --gate-n 10 -> OVERALL PASS (exit 0),
kryteria 1/2/3 PASS, kryterium 4 = 5/5 (wymagane >= 4).

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-08-06 13:22:23 +02:00
..
queries.yaml eval(retrieval): przekwalifikuj N2 na mail_query M5, nowa kontrolka N3 2026-08-06 13:22:23 +02:00
retrieval_eval.py eval(retrieval): przekwalifikuj N2 na mail_query M5, nowa kontrolka N3 2026-08-06 13:22:23 +02:00