# Eval-set for the retrieval quality gate (module 5, phase 3, plan §6.2,
# docs/kb/modules/05-faza3-plan.md). Transcribed 1:1 from the pilot baseline,
# docs/kb/eval/retrieval-pilot-2026-07-16.md (read-only source -- this file is the versioned
# copy the plan asked for, so the set stops living only in a session transcript).
#
# kind:
#   hit                 -- pilot found a correct top-1 match (dist < 0.45)
#   grey_zone           -- pilot landed in the 0.45-0.55 band (on-topic, imprecise)
#   negative_control            -- pilot correctly found nothing (dist > 0.55)
#   negative_control_borderline -- pilot correctly found nothing, but close to the 0.55 edge
#
# expected_envelope is null for both negative-control kinds: there is no document these
# queries should match, by design.

queries:
  - id: "1"
    text: "polisa ubezpieczeniowa PZU warunki odpowiedzialności"
    kind: hit
    expected_envelope: "paperless:14"
    baseline_top1_dist: 0.3418
    note: >
      Pilot top-1 = paperless:14 (OWU PZU Auto); ujawnił duplikat paperless:14 ≡ paperless:74
      (flagowany excluded_reason='duplicate' w kroku 1 fazy 3).

  - id: "2"
    text: "faktura za usługi telekomunikacyjne kwota do zapłaty"
    kind: hit
    expected_envelope: "paperless:192"
    baseline_top1_dist: 0.3447
    note: >
      Pilot top-1 = paperless:192 (faktura P4); poz. 3/5 w pilocie był chunk z OCR-śmieciem
      (kody kreskowe) -- powinien wypaść po excluded_reason='ocr_junk' z kroku 1.

  - id: "3"
    text: "zasady punktacji FLL Challenge robot game (PL)"
    kind: grey_zone
    expected_envelope: "paperless:5"
    baseline_top1_dist: 0.4154
    note: >
      Pilot: szara strefa -- rodzina dokumentów OK, sedno (zasady punktacji) nie trafione
      precyzyjnie. Kandydat na poprawę: czy pre-filtr po streszczeniu podnosi trafność?

  - id: "4"
    text: "FLL robot game mission scoring points table (EN)"
    kind: hit
    expected_envelope: "paperless:5"
    baseline_top1_dist: 0.4114
    note: >
      Cross-lingual (EN zapytanie) trafia lepiej niż PL (zapytanie 3); poz. 2+ w pilocie =
      paperless:119 (scoresheet, mojibake) -- mojibake nie jest śmieciem, niesie sygnał.

  - id: "5"
    text: "innovation project scoring"
    kind: hit
    expected_envelope: "paperless:3"
    baseline_top1_dist: 0.3869
    note: "Najlepszy wynik pilota: top-5 spójnie z jednego właściwego dokumentu (arkusz ocen IP)."

  - id: "N"
    text: "przepis na sernik z rodzynkami"
    kind: negative_control
    expected_envelope: null
    baseline_top1_dist: 0.6210
    note: "Poprawny brak w pilocie; separacja od trafień wyraźna."

  - id: "N2"
    text: "piaskownica plastikowa"
    kind: negative_control_borderline
    expected_envelope: null
    baseline_top1_dist: 0.5533
    note: >
      Poprawnie na granicy "brak" w pilocie -- semantycznie sąsiednie dokumenty wspólnoty
      mieszkaniowej, nie odpowiedź na zapytanie.