docs(recon): przyrostowka IMAP gmail + fastmail — Krok 7 fazy mailowej
Read-only recon (kb/audits/mail-sync-2026-08-06.md, OKF type: audit).
Stan wyjsciowy zmierzony na zywo: korpus gmail urywa sie 2026-06-19, dziura
48 dni ~ 1800 maili przy tempie ~37/dobe; zero kodu IMAP/JMAP w repo (tylko
dokumenty), brak modelu stanu synca — w bazie 3 tabele, zadnej z UID.
Ustalenia blokujace, ktore latwo przeoczyc (kazde zawodzi cicho, bez bledu):
- koperty bez entities[type=headers] daja prefiks chunka "(brak tematu) | ?"
(build_prefix), wiec poller musi pisac headers przy INSERCIE, nie backfillem
- DEFAULT_SUMMARYLESS_SOURCES = ("gmail",) — fastmail zembeduje sie i zniknie
z /search, bo galaz summaryless filtruje po source
- etap mailowy dopiety do kb-ingest.timer (03:30) zapali KbEmbedBacklogGrowing
na stale: SOLARIA wtedy spi (potwierdzone: kb_ingest_embed_skipped 1)
- envelope.id = goly Message-ID globalnie, wiec mail obecny na obu kontach
trafia do bazy raz, z source konta ktore wygralo wyscig
Architektura: fetch na PIHA co godzine (24/7, archiwum kanoniczne, bez GPU),
indeksowanie osobno bramkowane probe'em Ollamy (embed z PIHA zmierzony:
HTTP 200 w 8 ms, ~60 chunkow/dobe — rsync na SOLARIE zbedny). Spoiwem jest
kolejka "koperty bez chunkow", nie --since (ts to naglowek nadawcy).
Decyzje operatora (a)-(g) z rekomendacjami. Dwie korekty zalozen:
- POSTGRES_PASSWORD NIE lezy plaintextem w repo — service.yaml wymienia tylko
nazwy zmiennych, env.example ma placeholdery, skan sledzonych YAML: 0 trafien.
Rekomendacja uzywa istniejacego /opt/homelab/kb/.env (root:root 600,
czytany przez systemd przed zrzuceniem uprawnien)
- Fastmail przez IMAP, nie JMAP — domyka otwarta od czerwca decyzje
"unifikacja adaptera" (kb-mail-pillar.md §9); wymaga korekty §2/§7 tamtego
dokumentu po zatwierdzeniu
Zaleznosci z reconem multiagentowym: zadnych blokujacych. Dyspozytor to
subsystem B (osobny projekt); jawna zaleznosc to wiki-kompilat
(kb-m5-faza3.md:620 — "pelna wiki po przyrostowce").
Aktualizacja kb-m5-faza-mailowa.md: Krok 7 = WYKONANE + wskaznik do reconu.
Nic nie zaimplementowano, nie zdeployowano ani nie pobrano.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
oskar
parent
b1b6692382
commit
a62c36c0b6
809
kb/audits/mail-sync-2026-08-06.md
Normal file
809
kb/audits/mail-sync-2026-08-06.md
Normal file
|
|
@ -0,0 +1,809 @@
|
|||
---
|
||||
okf: "0.1"
|
||||
type: audit
|
||||
visibility: private
|
||||
status: active
|
||||
updated: 2026-08-06
|
||||
as_of: 2026-08-06
|
||||
links: []
|
||||
---
|
||||
|
||||
# Recon — przyrostówka IMAP (gmail + fastmail), 2026-08-06
|
||||
|
||||
Read-only recon. Realizuje **Krok 7** fazy mailowej
|
||||
(`kb/phases/kb-m5-faza-mailowa.md` §10, §12 poz. 7 — „OTWARTE — NEXT",
|
||||
odblokowane zamknięciem Etapu B). Zakres: co trzeba dobudować, żeby korpus
|
||||
mailowy przestał być fotografią z Takeoutu i sam się dosypywał z dwóch żywych
|
||||
skrzynek.
|
||||
|
||||
Źródło kodu: `task/mail-sync-recon` @ `b1b6692` (worktree cięty z mastera).
|
||||
Dowody runtime zebrane 2026-08-06 ~13:50 UTC+2: SOLARIA = host tego reconu
|
||||
(odczyty lokalne), PIHA po ssh (`docker exec kb-postgres psql`, `systemctl`,
|
||||
`curl`). **Nic nie zostało zaimplementowane, zdeployowane ani pobrane — wynik
|
||||
to wyłącznie ten dokument.** Twierdzenia o zewnętrznych API (limity Gmaila,
|
||||
układ folderów Fastmaila) są oznaczone jako **[do weryfikacji na żywo]** —
|
||||
nie sprawdzałem ich, bo wymagałoby to logowania na konta.
|
||||
|
||||
---
|
||||
|
||||
## 1. Jak powstał obecny korpus
|
||||
|
||||
### 1.1 Tor, którym przyszły dane — trzy joby, jeden kierunek
|
||||
|
||||
| # | Job | Co robi | Kiedy |
|
||||
|---|---|---|---|
|
||||
| 1 | `jobs/gmail-bulk-import` | Takeout `.mbox` → archiwum `.eml` + wiersze `envelope` (tylko manifest załączników) | jednorazowo, 2026-06/07 |
|
||||
| 2 | `jobs/gmail-header-backfill` | UPDATE: dopisuje `entities[type=headers]` do istniejących kopert | jednorazowo, 2026-07 |
|
||||
| 3 | `jobs/mail-body-ingest` | drugi pełny przebieg po archiwum: body → quote-strip → chunk → embed → `document_chunk` + `entities[type=threading]` | Etap A 2026-07-23, Etap B 2026-08-06 |
|
||||
|
||||
Wszystkie trzy są **one-shotami uruchamianymi ręcznie**. Żaden nie ma jednostki
|
||||
systemd, żaden nie wie o istnieniu skrzynki — punktem wejścia jest plik na dysku
|
||||
(`.mbox`, potem `.eml`). To jest dokładnie ta luka, którą przyrostówka wypełnia:
|
||||
**nie ma niczego, co rozmawia z serwerem pocztowym.**
|
||||
|
||||
### 1.2 Archiwum `.eml` — struktura i format
|
||||
|
||||
Kanoniczne archiwum na PIHA, lustro (dla backfillu GPU) na SOLARII:
|
||||
`/home/oskar/kb/mail/archive/`.
|
||||
|
||||
Układ katalogów wyznacza `kb_mail.archive.save_eml`
|
||||
(`packages/kb-mail/src/kb_mail/archive.py:29`):
|
||||
|
||||
```
|
||||
{archive_root}/{source}/{YYYY}/{MM}/{sanitized_message_id}.eml
|
||||
```
|
||||
|
||||
- `sanitized_message_id` = `envelope.id` przepuszczony przez
|
||||
`str.maketrans({"/": "_", "\\": "_", ":": "_", "<": "", ">": ""})`.
|
||||
- `YYYY/MM` pochodzą z `ts` (nagłówek `Date`), **nie** z daty pobrania.
|
||||
- **Append-only twardo**: `save_eml` robi `dest.exists()` → `FileExistsError`.
|
||||
Nie ma trybu nadpisania. Wołający decyduje, czy to błąd, czy „już mam"
|
||||
(bulk-import liczy to jako `skipped`).
|
||||
- Format pliku: surowe bajty wiadomości, zapisane przez
|
||||
`msg.as_bytes(policy=email.policy.compat32)` — czyli **bez** normalizacji,
|
||||
z oryginalnymi 8-bitowymi bajtami w nagłówkach włącznie.
|
||||
|
||||
Stan na dziś (SOLARIA, odczyt lokalny): jedyny podkatalog to `gmail/`, roczniki
|
||||
`1970` (epoch fallback) oraz `2002`–`2026`. **Katalogu `fastmail/` nie ma —
|
||||
źródło `fastmail` jest greenfieldem, zero plików i zero wierszy w DB.**
|
||||
|
||||
### 1.3 Tabela `envelope` — schemat i klucze dedup
|
||||
|
||||
`services/kb-postgres/init/001_envelope.sql`:
|
||||
|
||||
```sql
|
||||
CREATE TABLE envelope (
|
||||
id TEXT PRIMARY KEY, -- goły Message-ID (bez < >), lub sha256-<32hex>
|
||||
source TEXT NOT NULL, -- fastmail | gmail | paperless
|
||||
ts TIMESTAMPTZ NOT NULL, -- data wiadomości, UTC
|
||||
geo JSONB, -- null dla maili
|
||||
raw_ref TEXT NOT NULL, -- ścieżka względna do .eml
|
||||
entities JSONB NOT NULL DEFAULT '[]'
|
||||
);
|
||||
CREATE INDEX envelope_source_idx ON envelope (source);
|
||||
CREATE INDEX envelope_ts_idx ON envelope (ts);
|
||||
```
|
||||
|
||||
Kontrakt zamrożony, addytywny (`packages/kb-mail/src/kb_mail/envelope.py`,
|
||||
`kb/subsystems/kb-mail-pillar.md` §3). Kolumn UID/folder/etykieta **nie ma**
|
||||
i nie było w planie.
|
||||
|
||||
**Klucz dedup to `id`, czyli goły Message-ID.** Wyprowadza go
|
||||
`gmail_bulk_import._message_id` (`importer.py:63`):
|
||||
|
||||
```python
|
||||
mid = _sanitize(str(msg.get("Message-ID", ""))).strip().strip("<>")
|
||||
return mid or ("sha256-" + hashlib.sha256(msg.as_bytes()).hexdigest()[:32])
|
||||
```
|
||||
|
||||
Cała idempotencja stoi na `INSERT ... ON CONFLICT (id) DO NOTHING`
|
||||
(`kb_mail.db.insert_envelope`, `importer._insert_batch`). Na żywej bazie:
|
||||
**9 kopert** ma id z prefiksem `sha256-` (maile bez Message-ID), reszta to
|
||||
prawdziwe Message-ID; średnia długość id = 60 znaków.
|
||||
|
||||
`entities` to lista otwartych obiektów tagowanych `type`. Dziś w użyciu trzy:
|
||||
|
||||
| `type` | Kto pisze | Zawartość |
|
||||
|---|---|---|
|
||||
| `attachment` | gmail-bulk-import | `filename`, `content_type`, `size`, `sha256` |
|
||||
| `headers` | gmail-header-backfill | `from`, `to`, `cc`, `delivered_to`, `subject`, `date_raw` |
|
||||
| `threading` | mail-body-ingest | `in_reply_to`, `references[]` |
|
||||
|
||||
Oba appendy (`headers`, `threading`) są idempotentne przez
|
||||
`WHERE NOT EXISTS (SELECT 1 FROM jsonb_array_elements(entities) e WHERE e->>'type'='…')`.
|
||||
|
||||
### 1.4 Stan żywej bazy i archiwum (zmierzone 2026-08-06)
|
||||
|
||||
| Miara | Wartość | Skąd |
|
||||
|---|---|---|
|
||||
| `envelope` source='gmail' | 225 030 | `SELECT source, count(*) … GROUP BY source` |
|
||||
| `envelope` source='paperless' | 191 | j.w. |
|
||||
| `envelope` source='fastmail' | **0** | j.w. |
|
||||
| `max(ts)` dla gmail | **2026-06-19 19:13:39+02** | j.w. |
|
||||
| `document_chunk` (model bge-m3) | 389 012, w tym 201 849 bez wektora (newsletter) | `GROUP BY model` |
|
||||
| Rozmiar `document_chunk` | 2 971 MB | `pg_total_relation_size` |
|
||||
| Rozmiar `envelope` | 264 MB | j.w. |
|
||||
| Rozmiar bazy `kb` | **3 248 MB** | `pg_database_size` |
|
||||
| PIHA `/home` wolne | 136 GB (66% zajęte) | `df -h` |
|
||||
| PIHA RAM | 8 GB, `available` 2,4 GB | `free -m` |
|
||||
| Archiwum gmail 2024 / 2025 / 2026 | 13 207 / 13 575 / 6 213 plików | `find … -name '*.eml' \| wc -l` |
|
||||
| Ostatni rocznik archiwum | `2026/06` (861 plików) | `ls` |
|
||||
|
||||
**Kluczowa liczba tego reconu: korpus urywa się 2026-06-19, dziś jest 2026-08-06
|
||||
— dziura ma 48 dni.** Przy zmierzonym tempie ~37 maili/dobę (13 575 w 2025;
|
||||
6 213 przez ~170 dni 2026) to **~1 800 kopert**, których w KB nie ma i nigdy nie
|
||||
będzie, dopóki ktoś nie zrobi drugiego Takeoutu albo nie postawi przyrostówki.
|
||||
Dziura rośnie o kolejny dzień każdego dnia.
|
||||
|
||||
### 1.5 Skąd `source='gmail'` i czym różni się ścieżka fastmail
|
||||
|
||||
`source` jest **wpisany na sztywno w kod importera** — `Envelope(..., source="gmail", ...)`
|
||||
(`importer.py:255`) i `save_eml(archive_root, envelope_id, "gmail", ts, raw)`
|
||||
(`importer.py:248`). Nie ma parametru CLI, nie ma detekcji. Tak samo
|
||||
`mail_body_ingest.fetch_envelopes` (`ingest.py:372`) ma zaszyte
|
||||
`WHERE source = 'gmail'`.
|
||||
|
||||
Ścieżka fastmail **nie istnieje w żadnej postaci** — ani kodu, ani wierszy, ani
|
||||
katalogu w archiwum. Jedyne, co jest, to zarezerwowane miejsce w kontrakcie
|
||||
(komentarz `-- fastmail | gmail | ...` w DDL i w dataclassie). Różnice, które
|
||||
realnie wystąpią, gdy się ją zbuduje:
|
||||
|
||||
1. **Brak Takeoutu** — nie ma bulk-importu do wykonania; fastmail zaczyna od
|
||||
pustego zbioru i albo bierzemy tylko nowe maile, albo robimy jednorazowy
|
||||
pełny zaciąg IMAP-em (Decyzja **(e)** w §4).
|
||||
2. **Inny układ folderów** — Gmail ma jeden worek `All Mail`; Fastmail ma
|
||||
klasyczne IMAP-owe foldery i trzeba je wyliczyć (§2.3).
|
||||
3. **Ta sama przestrzeń id** — i to jest pułapka, patrz §2.4.
|
||||
|
||||
---
|
||||
|
||||
## 2. Czego brakuje do przyrostówki
|
||||
|
||||
### 2.1 Klient IMAP — nie ma go nigdzie
|
||||
|
||||
Grep po całym repo (`imaplib|aioimaplib|imapclient|IMAP|JMAP`) daje wyłącznie
|
||||
**dokumenty**: `kb/subsystems/kb-mail-pillar.md`, `kb/subsystems/kb-overview.md`,
|
||||
§10 planu fazy mailowej, kilka session-logów. **Zero linii kodu.**
|
||||
`packages/kb-mail` ma dokładnie pięć modułów — `archive`, `chunking`, `db`,
|
||||
`envelope`, `text` — i dwie zależności (`asyncpg`, `structlog`). Nie ma warstwy
|
||||
transportu i nigdy nie było.
|
||||
|
||||
Katalogi `jobs/fastmail-poller/` i `jobs/gmail-imap-poller/`, zapowiadane w
|
||||
`kb-overview.md` jako etapy 3–4, **nie istnieją**.
|
||||
|
||||
Co jest gotowe do reużycia i jest tego sporo:
|
||||
|
||||
| Element | Gdzie | Uwaga |
|
||||
|---|---|---|
|
||||
| `save_eml` | `kb_mail/archive.py` | append-only, `FileExistsError` = „już mam" |
|
||||
| `insert_envelope` | `kb_mail/db.py` | `ON CONFLICT (id) DO NOTHING` |
|
||||
| `parse_headers` + `parse_headers_fallback` | `gmail_header_backfill/backfill.py:67,131` | typed parse + compat32, przetestowane na 8-bitowych nagłówkach |
|
||||
| `_message_id`, `_parse_date`, `_parse_attachments` | `gmail_bulk_import/importer.py:63,78,97` | wyprowadzenie id/ts/manifestu |
|
||||
| `sanitize_surrogates`, `strip_nul` | `kb_mail/text.py` | oba obowiązkowe przed zapisem do jsonb/text |
|
||||
| Cały pipeline body | `mail_body_ingest/ingest.py` | wymaga jednej zmiany, §3.2 |
|
||||
| `embed_batch_resilient`, `check_ollama_health` | `kb_retrieval/embed.py:168,256` | retry + bisekcja + probe backendu |
|
||||
|
||||
`imaplib` jest w stdlib Pythona 3.11 (PIHA ma 3.11.2) — przyrostówka **nie musi
|
||||
dokładać żadnej zależności**, jeśli zaakceptujemy synchroniczny klient
|
||||
(uzasadnienie przy Decyzji (a)).
|
||||
|
||||
### 2.2 Model stanu synca — nie ma go, i to jest główna nowa rzecz do zaprojektowania
|
||||
|
||||
W bazie są **trzy tabele**: `envelope`, `document_chunk`, `document_summary`
|
||||
(sprawdzone `\dt`). Nic nie przechowuje ani UIDVALIDITY, ani UIDNEXT, ani
|
||||
last-seen-UID, ani daty ostatniego pollu.
|
||||
|
||||
Trzy warianty, uporządkowane:
|
||||
|
||||
**(A) Nowa tabela `mail_sync_state` w kb-postgres** — migracja `005`:
|
||||
|
||||
```sql
|
||||
CREATE TABLE mail_sync_state (
|
||||
account TEXT NOT NULL, -- 'gmail' | 'fastmail' (== envelope.source)
|
||||
folder TEXT NOT NULL, -- nazwa IMAP-owa, jak zwrócona przez LIST
|
||||
uidvalidity BIGINT NOT NULL,
|
||||
last_uid BIGINT NOT NULL, -- najwyższy UID przetworzony do końca
|
||||
last_sync_ts TIMESTAMPTZ NOT NULL,
|
||||
PRIMARY KEY (account, folder)
|
||||
);
|
||||
```
|
||||
|
||||
**(B) Plik JSON w `/opt/homelab/state/`** — zgodne z konwencją runtime-state
|
||||
z CLAUDE.md, ale rozjeżdża stan z danymi: przy odtworzeniu bazy z backupu plik
|
||||
zostaje w przyszłości i przyrostówka cicho przeskakuje maile.
|
||||
|
||||
**(C) Wyprowadzanie z `max(envelope.ts)`** — bez stanu. Kuszące i **złe**:
|
||||
`ts` to nagłówek `Date` nadawcy, nie moment dostarczenia. Mail z przekręconym
|
||||
zegarem albo opóźniony w dostarczeniu wpadnie poniżej znacznika i zniknie na
|
||||
zawsze. Znamy to z własnego korpusu — 2 559 kopert ma `ts` = epoch 1970.
|
||||
|
||||
**Rekomendacja: (A).** Stan synca to dane, nie konfiguracja — należy do tej
|
||||
samej jednostki backupu co koperty, którym odpowiada. Kosztuje jedną migrację
|
||||
(`services/kb-postgres/init/005_mail_sync_state.sql`), a płaci za to
|
||||
najważniejszą właściwością: **stan i dane odtwarzają się razem albo wcale.**
|
||||
|
||||
Semantyka pętli (standardowa i jedyna poprawna dla IMAP):
|
||||
|
||||
1. `SELECT` folderu → serwer zwraca `UIDVALIDITY` i `UIDNEXT`.
|
||||
2. Jeśli `UIDVALIDITY` ≠ zapamiętany → **cała numeracja UID jest unieważniona**;
|
||||
zapamiętane `last_uid` nic nie znaczy. Reakcja: pełne przemiecenie folderu
|
||||
(`UID SEARCH ALL`) i oparcie się wyłącznie na dedupie po Message-ID, po czym
|
||||
zapis nowego `uidvalidity`. To zdarza się rzadko, ale gdy się zdarzy i nie
|
||||
obsłużymy — tracimy maile bez śladu.
|
||||
3. W przeciwnym razie `UID FETCH {last_uid+1}:*`.
|
||||
4. Zapis `last_uid` **dopiero po** tym, jak koperta i plik `.eml` są trwale
|
||||
zapisane — nigdy przed. Przerwanie w środku = powtórka partii przy następnym
|
||||
ticku, którą dedup wyciszy.
|
||||
|
||||
Uwaga na wyścig: `UID FETCH n:*` zawsze zwraca co najmniej jedną wiadomość
|
||||
(serwer zwraca ostatnią, gdy przedział jest pusty) — trzeba odfiltrować UID-y
|
||||
`<= last_uid` po stronie klienta, inaczej licznik „nowych maili" nigdy nie
|
||||
spadnie do zera i obserwowalność z §3.4 kłamie.
|
||||
|
||||
### 2.3 Mapowanie folderów
|
||||
|
||||
**Gmail.** Model etykietowy: jedna wiadomość, wiele etykiet, każda etykieta
|
||||
widoczna jako osobny folder IMAP. Synchronizowanie kilku folderów oznacza
|
||||
pobranie tej samej wiadomości wielokrotnie. Właściwy wybór to **jeden folder
|
||||
`\All`** (`[Gmail]/All Mail`), który zawiera wszystko poza Spamem i Koszem —
|
||||
i to jest dokładnie ta sama populacja co Takeout „All Mail", na której stoi
|
||||
obecny korpus (plan §Decyzja 4: „Takeout »All Mail« nie zawiera folderu Spam").
|
||||
Przyrostówka na `\All` jest więc **ciągła merytorycznie** z tym, co już jest
|
||||
w bazie.
|
||||
|
||||
Nazwy folderów Gmaila są lokalizowane (przy polskim UI `[Gmail]/Wszystkie`), więc
|
||||
**nie wolno ich zaszywać** — trzeba wybrać folder po atrybucie SPECIAL-USE
|
||||
`\All` z odpowiedzi `LIST`. To samo dotyczy `\Sent`/`\Trash`.
|
||||
|
||||
**Fastmail.** Model klasyczny: `INBOX`, `Archive`, `Sent`, `Drafts`, `Trash`,
|
||||
`Spam` + foldery użytkownika. Nie ma jednego worka odpowiadającego Gmailowemu
|
||||
`\All` **[do weryfikacji na żywo — czy konto wystawia wirtualny folder
|
||||
obejmujący całość]**. Zakres trzeba więc podać jawnie jako listę; rozsądny
|
||||
domyślny zestaw to `INBOX` + `Archive` + `Sent` (Decyzja **(e)**).
|
||||
|
||||
Konsekwencja projektowa: konfiguracja folderów musi być **per konto listą**, a
|
||||
nie pojedynczą nazwą, bo Gmail chce jednego wpisu, a Fastmail trzech. Tabela
|
||||
z §2.2 jest już kluczowana `(account, folder)`, więc to obsługuje.
|
||||
|
||||
Czego **nie** zapisujemy: etykiet Gmaila. `entities` przyjęłoby
|
||||
`{"type":"labels", …}` bez migracji, ale nic w retrievalu ich dziś nie czyta,
|
||||
a `X-GM-LABELS` wymaga rozszerzenia `X-GM-EXT-1`, które przywiązuje kod do
|
||||
Google — wprost wbrew zasadzie „protokół, nie provider"
|
||||
(`kb-overview.md` §61). Odkładam.
|
||||
|
||||
### 2.4 Dedup nowych vs istniejące — działa, z jednym ostrym rogiem
|
||||
|
||||
Trzy warstwy, wszystkie już w kodzie:
|
||||
|
||||
1. **Archiwum**: `save_eml` → `FileExistsError` = ten `.eml` już leży.
|
||||
2. **Koperty**: `ON CONFLICT (id) DO NOTHING` po Message-ID.
|
||||
3. **Chunki**: `ON CONFLICT (envelope_id, chunk_index, model) DO NOTHING`
|
||||
+ pre-fetch kluczy.
|
||||
|
||||
Dla ponownego pobrania tej samej wiadomości z tego samego konta to jest
|
||||
komplet i nic nie trzeba dokładać. Ale:
|
||||
|
||||
> **Znalezisko — kolizja Message-ID między kontami.** `envelope.id` to goły
|
||||
> Message-ID, **globalnie unikalny w całej tabeli**, bez prefiksu źródła
|
||||
> (inaczej niż paperless, który używa `paperless:N`). Wiadomość obecna i w
|
||||
> Gmailu, i w Fastmailu (ta sama lista dyskusyjna, przekierowanie, CC na oba
|
||||
> adresy) ma **ten sam Message-ID**. Kto pierwszy wstawi, ten ustala `source`;
|
||||
> drugi jest cicho pominięty przez `ON CONFLICT DO NOTHING`. Jednocześnie
|
||||
> `save_eml` zapisze **dwa** pliki `.eml` (w `gmail/…` i `fastmail/…`, bo ścieżka
|
||||
> zawiera `source`), a `raw_ref` będzie wskazywał tylko na jeden z nich.
|
||||
|
||||
To nie jest korupcja danych i nie blokuje niczego — treść trafia do indeksu raz,
|
||||
co jest zachowaniem pożądanym. Ale ma dwa mierzalne skutki, o których trzeba
|
||||
wiedzieć **zanim** ktoś zacznie się dziwić liczbom:
|
||||
|
||||
- statystyki „nowe maile fastmail" będą systematycznie zaniżone o część wspólną,
|
||||
- filtrowanie po `source` w retrievalu (dziś: `DEFAULT_SUMMARYLESS_SOURCES`)
|
||||
przypisze taki mail do konta, które akurat wygrało wyścig.
|
||||
|
||||
**Rekomendacja: zostawić zachowanie, dodać licznik.** Job niech raportuje
|
||||
`envelopes_conflict_other_source` (konflikt na id, którego istniejący wiersz ma
|
||||
inny `source`) — jedno zapytanie przy pominiętym wstawieniu, zero zmiany
|
||||
semantyki, a zjawisko przestaje być niewidzialne. Zmiana klucza na
|
||||
`(source, message_id)` jest odrzucona: łamie zamrożony kontrakt koperty,
|
||||
wymagałaby przepisania 225 030 istniejących id i wszystkich `raw_ref`, a kupuje
|
||||
duplikaty w indeksie — czyli dokładnie to, przed czym dedup chroni.
|
||||
|
||||
### 2.5 Czego jeszcze brakuje, a nie widać na pierwszy rzut oka
|
||||
|
||||
**(i) Nowe koperty muszą mieć `headers` od razu.** `mail_body_ingest.build_prefix`
|
||||
(`ingest.py:344`) buduje prefiks chunka `Temat: … | Od: … | Data: …`
|
||||
z `entities[type=headers]`, a przy ich braku podstawia `"(brak tematu)"` i `"?"`
|
||||
— **cicho, bez błędu**. Historyczne koperty mają headers tylko dlatego, że
|
||||
przejechał po nich osobny backfill. Gdyby poller wstawiał koperty tak jak
|
||||
bulk-import (sam manifest załączników), każdy nowy mail dostałby bezużyteczny
|
||||
prefiks i nikt by tego nie zauważył poza spadkiem jakości retrievalu.
|
||||
**Poller musi wstawiać `headers` i `attachment` w jednym `entities` przy
|
||||
INSERCIE**, wołając `gmail_header_backfill.parse_headers` z jego fallbackiem.
|
||||
|
||||
**(ii) `mail_body_ingest` nie umie o źródle innym niż gmail.**
|
||||
`fetch_envelopes` ma zaszyte `WHERE source = 'gmail'`. Potrzebny parametr
|
||||
`--source` (lub `--sources` przyjmujące listę) — zmiana jednolinijkowa
|
||||
w zapytaniu plus flaga CLI.
|
||||
|
||||
**(iii) `fastmail` jest niewidoczny w domyślnym trybie wyszukiwania.**
|
||||
`packages/kb-retrieval/src/kb_retrieval/retrieval.py:43`:
|
||||
|
||||
```python
|
||||
DEFAULT_SUMMARYLESS_SOURCES = ("gmail",)
|
||||
```
|
||||
|
||||
`kb-query` nie nadpisuje tej wartości (`services/kb-query/app/main.py:128`
|
||||
nie przekazuje `summaryless_sources`). Ponieważ maile nie mają streszczeń, do
|
||||
wyniku wchodzą **wyłącznie** przez gałąź „summaryless" trybu hybrid — a ta
|
||||
filtruje `WHERE e.source = ANY($2)`. **Koperty fastmail wpadłyby do bazy,
|
||||
zembedowały się i nie pojawiły w żadnym wyniku `/search`.** Poprawka to jedno
|
||||
słowo (`("gmail", "fastmail")`), ale bez niej cała gałąź fastmail jest niema.
|
||||
To jest najbardziej „cicha" pułapka w całym przedsięwzięciu.
|
||||
|
||||
**(iv) Pre-fetch kluczy chunków nie skaluje się do trybu cyklicznego.**
|
||||
`fetch_existing_chunk_keys` (`ingest.py:387`) robi
|
||||
`SELECT envelope_id, chunk_index FROM document_chunk WHERE model = $1`
|
||||
**bez ograniczenia** — dziś 389 012 wierszy. Zmierzone na żywo: ~1,0 s po
|
||||
stronie serwera, ~26 MB na drucie (średnia długość id = 60 B), plus set 389 tys.
|
||||
krotek w Pythonie (rzędu 60–90 MB RSS) — na PIHA, gdzie `free` pokazuje 2,4 GB
|
||||
`available`. Dla jednorazowego plastra 50k to nic; dla joba odpalanego co godzinę
|
||||
to marnotrawstwo rosnące razem z korpusem. Poprawka: zawęzić pre-fetch do kopert
|
||||
z bieżącego zbioru roboczego (`WHERE model = $1 AND envelope_id = ANY($2)`).
|
||||
Nieblokujące — `ON CONFLICT` i tak stanowi drugą linię obrony — ale należy
|
||||
zrobić to razem z (ii), bo dotyka tej samej funkcji.
|
||||
|
||||
---
|
||||
|
||||
## 3. Proponowana architektura
|
||||
|
||||
### 3.1 Gdzie biegnie fetcher: **PIHA**, i to nie jest bliska decyzja
|
||||
|
||||
| Kryterium | PIHA | SOLARIA |
|
||||
|---|---|---|
|
||||
| Dostępność | 24/7 | **wyłączana ~16 h/dobę z założenia** (`kb/decisions/architektura-2026-07-28.md`) |
|
||||
| Archiwum kanoniczne | tak | lustro do backfillu, może dryfować |
|
||||
| kb-postgres | lokalnie | przez Tailscale |
|
||||
| GPU / Ollama | nie | tak |
|
||||
| Precedens (`kb-ingest.timer`) | tak | — |
|
||||
|
||||
Przyrostówka jest zadaniem **sieciowo-, nie obliczeniowo-zależnym**: pobrać
|
||||
~37 maili, zapisać ~4,6 MB, wstawić 37 wierszy. Umieszczenie jej na hoście
|
||||
wyłączanym na noc oznaczałoby, że stan skrzynki jest odczytywany tylko wtedy,
|
||||
gdy ktoś akurat włączył desktop — i że archiwum kanoniczne żyje po drugiej
|
||||
stronie sieci od procesu, który je zapisuje. Decyzja architektoniczna repo mówi
|
||||
o SOLARII wprost: „nic wymagającego 24/7 nie może tu mieszkać".
|
||||
|
||||
**Embedding zostaje na SOLARII, ale tylko jako wywołanie HTTP.** Zweryfikowane
|
||||
na żywo z PIHA (2026-08-06 13:56): `getent hosts solaria` →
|
||||
`100.100.231.104`, `GET http://solaria:11434/api/tags` → **HTTP 200 w 8,2 ms**,
|
||||
RTT ICMP 1,26 ms. Przy dobowym przyroście rzędu 60 chunków (37 maili × 1,73
|
||||
chunka/mail, zmierzone: 389 012 / 225 030) i ~8–18 ms/chunk to **poniżej sekundy
|
||||
pracy GPU na dobę**. Argument z planu §Decyzja 8 przeciwko embedowaniu z PIHA
|
||||
dotyczył 271 tys. chunków backfillu i **nie przenosi się** na tę skalę.
|
||||
|
||||
**Wniosek: rsync archiwum PIHA→SOLARIA nie jest przyrostówce do niczego
|
||||
potrzebny.** Lustro na SOLARII pozostaje artefaktem backfillu; niech dryfuje
|
||||
albo zniknie.
|
||||
|
||||
### 3.2 Jak nowe koperty wchodzą w istniejący tor — dwa etapy, nie jeden
|
||||
|
||||
**Odrzucam „tryb `--since`" jako mechanizm spinający.** `--since` filtruje po
|
||||
`envelope.ts`, czyli po dacie z nagłówka nadawcy. Mail dostarczony dziś z datą
|
||||
sprzed tygodnia wypadnie poza okno i nie zostanie nigdy zchunkowany — ta sama
|
||||
wada, co wariant (C) w §2.2, tylko przesunięta o jeden krok dalej w potoku.
|
||||
`--since` zostaje tym, czym był: narzędziem do etapowania ręcznych runów.
|
||||
|
||||
Właściwym spoiwem jest **kolejka wynikająca z danych**: koperta bez chunków
|
||||
*jest* elementem kolejki. Zapytanie:
|
||||
|
||||
```sql
|
||||
SELECT e.id FROM envelope e
|
||||
WHERE e.source = ANY($1)
|
||||
AND NOT EXISTS (SELECT 1 FROM document_chunk c WHERE c.envelope_id = e.id)
|
||||
```
|
||||
|
||||
Jest samonaprawiające się (przerwany run, koperta pominięta przy padniętej
|
||||
Ollamie, mail wstawiony z datą wsteczną — wszystko wraca do kolejki samo)
|
||||
i nie wymaga żadnego dodatkowego stanu. To wprost wzorzec, którym `kb-ingest`
|
||||
liczy `kb_ingest_embed_backlog`.
|
||||
|
||||
Stąd **dwa niezależne kroki**, celowo rozdzielone po linii „potrzebuje GPU":
|
||||
|
||||
```
|
||||
kb-mail-sync.timer (PIHA, co godzinę, bez GPU)
|
||||
└─ jobs/mail-imap-sync
|
||||
IMAP LOGIN → SELECT folder → UID FETCH last_uid+1:*
|
||||
→ save_eml() (append-only, FileExistsError = skip)
|
||||
→ insert_envelope() (entities = [headers…, attachment…])
|
||||
→ UPDATE mail_sync_state.last_uid
|
||||
→ .prom
|
||||
|
||||
kb-ingest.timer (PIHA, istniejący, bramkowany probe'em Ollamy)
|
||||
└─ + nowy etap: mail_body_ingest.run(sources=[...], only_unchunked=True)
|
||||
→ chunk → embed (http://solaria:11434) → document_chunk + threading
|
||||
```
|
||||
|
||||
Zaletą tego podziału jest to, że **pobieranie nigdy nie czeka na SOLARIĘ**.
|
||||
Maile lądują w archiwum i w kopertach co godzinę niezależnie od tego, czy
|
||||
desktop jest włączony; indeksowanie dogania, gdy GPU jest dostępne — dokładnie
|
||||
tak, jak dziś działa paperless. Nowy kod ogranicza się do klienta IMAP; reszta
|
||||
to wpięcie istniejących funkcji.
|
||||
|
||||
### 3.3 Harmonogram — i pułapka odziedziczona po `kb-ingest.timer`
|
||||
|
||||
Wzorzec jednostek: `jobs/documents-ingest/systemd/` — `.service` (`Type=oneshot`,
|
||||
`User=oskar`, `EnvironmentFile=/opt/homelab/kb/.env`) + `.timer`
|
||||
(`Persistent=true`) + cienki `*-run.sh`, którego jedynym zadaniem jest
|
||||
przekierowanie do `/opt/homelab/logs/<job>/run-YYYYMMDD.log` (nigdy sam
|
||||
journal — lekcja z runu, który stracił 4999 wierszy do zamkniętego tmuxa).
|
||||
|
||||
Proponowany takt: **`OnCalendar=hourly`** dla `kb-mail-sync`. Uzasadnienie:
|
||||
przy ~37 mailach na dobę godzinny tick pobiera 1–2 wiadomości, czyli jest
|
||||
praktycznie darmowy, a jednocześnie utrzymuje świeżość KB w granicach godziny —
|
||||
co ma znaczenie dla przyszłego dyspozytora (§5). `Persistent=true` nadgania po
|
||||
reboocie PIHA.
|
||||
|
||||
> **Znalezisko — `kb-ingest.timer` chodzi o 03:30, kiedy SOLARIA prawie na pewno
|
||||
> śpi.** Dowód z żywego systemu (PIHA, 2026-08-06):
|
||||
> `NEXT Fri 2026-08-07 03:30, LAST Thu 2026-08-06 03:30:03` oraz zawartość
|
||||
> `/opt/homelab/state/node-exporter/kb-ingest.prom`:
|
||||
> `kb_ingest_embed_skipped 1`, `kb_ingest_embed_backlog 0`.
|
||||
> Dzisiejszy tick **pominął oba etapy embedujące**, bo probe Ollamy nie
|
||||
> odpowiedział. Dziś to nieszkodliwe: paperless nie generuje nowych chunków, więc
|
||||
> backlog stoi na zerze i `KbEmbedBacklogGrowing` (próg: `> 0` przez `for: 72h`)
|
||||
> nigdy nie ma czego mierzyć.
|
||||
>
|
||||
> **Dopięcie etapu mailowego do tego samego ticku zmienia to jakościowo.**
|
||||
> Wpłynie ~60 nowych chunków na dobę, embed będzie pomijany każdej nocy,
|
||||
> backlog zacznie rosnąć monotonicznie i po 72 h alert zapali się **na stałe** —
|
||||
> nie sygnalizując żadnej awarii, tylko rozjazd harmonogramu z dobowym cyklem
|
||||
> SOLARII. Alert, który świeci zawsze, przestaje być alertem.
|
||||
|
||||
Do rozstrzygnięcia razem z Decyzją **(d)**. Najtańsza poprawka: przesunąć etap
|
||||
mailowy (albo cały `kb-ingest`) na godzinę, o której SOLARIA realnie pracuje —
|
||||
w chwili tego reconu jest włączona od ~10:40, `uptime` 3 h 12 min. Alternatywa
|
||||
bez zgadywania: uruchamiać etap indeksujący częściej (np. co 2 h) i pozwolić,
|
||||
by probe Ollamy sam wybrał okno, w którym GPU odpowiada. Ta druga opcja jest
|
||||
odporna na zmianę nawyków operatora i nie wymaga zgadywania, o której SOLARIA
|
||||
wstaje — **rekomenduję ją.**
|
||||
|
||||
### 3.4 Obserwowalność — istniejący tor, bez nowych bytów
|
||||
|
||||
Tor jest gotowy i sprawdzony: job pisze plik `.prom` atomowo (tmp + rename) do
|
||||
`/opt/homelab/state/node-exporter/`, node_exporter@PIHA go zbiera przez
|
||||
textfile collector (mount `/:/host:ro` już to pokrywa), reguły idą do
|
||||
`services/fleet-prometheus/rules/`, a dostawę do Telegrama robi brain-watchdog
|
||||
odpytujący `/api/v1/alerts`. **Bez Alertmanagera** — tak jak `kb-ingest.yml`
|
||||
i `liveness.yml`.
|
||||
|
||||
Proponowane metryki w `/opt/homelab/state/node-exporter/kb-mail-sync.prom`:
|
||||
|
||||
| Metryka | Typ | Znaczenie |
|
||||
|---|---|---|
|
||||
| `kb_mail_sync_last_run_timestamp` | gauge | ostatni tick (sukces lub nie) |
|
||||
| `kb_mail_sync_last_success_timestamp` | gauge | ostatni tick bez twardego błędu |
|
||||
| `kb_mail_sync_last_exit_code` | gauge | kod wyjścia |
|
||||
| `kb_mail_sync_envelopes_inserted{account}` | gauge | nowe koperty w tym ticku |
|
||||
| `kb_mail_sync_envelopes_skipped_dup{account}` | gauge | dedup po Message-ID |
|
||||
| `kb_mail_sync_conflict_other_source{account}` | gauge | kolizja międzykontowa z §2.4 |
|
||||
| `kb_mail_sync_last_message_ts{account}` | gauge | `max(envelope.ts)` dla konta |
|
||||
| `kb_mail_sync_uidvalidity_resets{account}` | counter | ile razy serwer unieważnił numerację |
|
||||
|
||||
Reguły alertowe — i tu jest realna subtelność:
|
||||
|
||||
- `KbMailSyncStale`: `time() - kb_mail_sync_last_success_timestamp > 21600`
|
||||
(6 h = 6 nieudanych godzinnych ticków), severity critical. **To jest właściwy
|
||||
alert.**
|
||||
- **„Zero nowych maili przez X dni" odradzam jako alert.** Zero nowych maili jest
|
||||
legalnym stanem skrzynki — urlop, weekend, przeniesienie ruchu na drugie konto.
|
||||
Alert na ciszę zapali się przy zdrowym systemie i zostanie wyciszony, po czym
|
||||
przestanie działać wtedy, gdy będzie potrzebny. Ten sam skutek daje sygnał,
|
||||
który **nie ma fałszywych trafień**: `kb_mail_sync_last_success_timestamp`
|
||||
odpowiada na pytanie „czy poller w ogóle działa", i to niezależnie od tego,
|
||||
czy cokolwiek przyszło.
|
||||
- Jeśli mimo to operator chce ostrzeżenie o „martwej skrzynce", właściwą metryką
|
||||
jest `kb_mail_sync_last_message_ts` (data najnowszego maila, nie licznik ticku)
|
||||
z progiem **per konto** i severity `warning` — gmail jest kontem śmieciowym,
|
||||
więc dla niego kilkudniowa cisza to anomalia, a dla fastmaila niekoniecznie.
|
||||
Sugerowany próg gmail: 7 dni. Do rozstrzygnięcia po miesiącu obserwacji, nie
|
||||
z góry.
|
||||
|
||||
---
|
||||
|
||||
## 4. Decyzje operatora
|
||||
|
||||
### (a) Gmail: IMAP + hasło aplikacji **czy** Gmail API / OAuth2
|
||||
|
||||
**Rekomendacja: IMAP + hasło aplikacji.**
|
||||
|
||||
- Zasada z `kb-overview.md` §61 mówi wprost: *„Protokół, nie provider. Ingest
|
||||
pisany przeciw standardom (JMAP, IMAP, WebDAV), nie przeciw firmie →
|
||||
przenośność"*. `kb-mail-pillar.md` §2 powtarza to dla Gmaila: *„adapter IMAP
|
||||
(protokół, nie Gmail API → przenośność)*". Ta decyzja jest w repo już podjęta;
|
||||
recon jej nie zmienia, tylko potwierdza, że nic nowego nie każe jej rewidować.
|
||||
- Jeden adapter obsłuży oba konta. Gmail API dałby drugi, nieprzenośny tor kodu
|
||||
dla konta, które sam operator opisuje jako **śmieciowe** (loginy, 2FA,
|
||||
newslettery) — najgorszy możliwy stosunek nakładu do wartości.
|
||||
- OAuth2 wymaga projektu w Google Cloud, ekranu zgody, cyklu odświeżania tokenu
|
||||
i obsługi jego wygaśnięcia w jobie bezobsługowym. Hasło aplikacji to jeden
|
||||
ciąg znaków w pliku `.env`, który już istnieje i już trzyma inne sekrety.
|
||||
- **[do weryfikacji na żywo]** Hasła aplikacji wymagają włączonego 2FA na koncie
|
||||
i bywają wyłączane politykami Workspace; przy koncie prywatnym powinny być
|
||||
dostępne. Warto sprawdzić przy okazji, czy Google nie ogłosiło wygaszenia tej
|
||||
metody — mój stan wiedzy sięga maja 2026 i **nie jest wiarygodnym źródłem dla
|
||||
polityki dostawcy z sierpnia 2026**. Gdyby okazało się, że hasła aplikacji
|
||||
odpadły, OAuth2 staje się przymusem, nie wyborem — reszta architektury się nie
|
||||
zmienia, wymianie podlega wyłącznie sposób uwierzytelnienia w kliencie.
|
||||
- **[do weryfikacji na żywo]** Gmail limituje dobowy transfer IMAP (rzędu
|
||||
kilku GB). Przy ~1 800 zaległych maili (~225 MB) i ~4,6 MB/dobę bieżąco nie
|
||||
ma to znaczenia, ale gdyby ktoś kiedyś chciał zaciągnąć IMAP-em pełną
|
||||
historię — miałby.
|
||||
|
||||
### (b) Fastmail: IMAP + hasło aplikacji
|
||||
|
||||
**Rekomendacja: tak, IMAP + hasło aplikacji — i tym samym zamykamy otwartą
|
||||
decyzję „unifikacja adaptera".**
|
||||
|
||||
To nie jest formalność, bo **stoi w sprzeczności z tym, co repo dziś zapisuje**:
|
||||
`kb-mail-pillar.md` §2 i §7 oraz §10 planu fazy mailowej przewidują dla
|
||||
Fastmaila **JMAP** (`jobs/fastmail-poller`), a `kb-mail-pillar.md` §9 trzyma to
|
||||
jako decyzję otwartą: *„jeden wspólny IMAP dla Fastmail + Gmail (mniej kodu) vs
|
||||
JMAP dla Fastmail + IMAP dla Gmail (JMAP bogatszy)?"*. Zlecenie tego reconu
|
||||
mówi „IMAP (gmail + fastmail)", czyli rozstrzyga tę decyzję na rzecz unifikacji.
|
||||
Recon się z tym zgadza:
|
||||
|
||||
- JMAP daje synchronizację po `state` — elegancką i **niepotrzebną przy dwóch
|
||||
ticku na godzinę i 37 mailach na dobę**. UIDVALIDITY/UIDNEXT rozwiązuje ten
|
||||
sam problem, a jest jedyną rzeczą, którą trzeba i tak zaimplementować dla
|
||||
Gmaila.
|
||||
- Jeden adapter = jeden zestaw testów, jedna klasa błędów, jedna ścieżka
|
||||
hardeningu 8-bitowych nagłówków. Dwa protokoły to dwa razy tyle powierzchni
|
||||
przy identycznym wyniku w bazie.
|
||||
- Fastmail wystawia pełny IMAP i hasła aplikacji z ograniczonym zakresem
|
||||
(można wydać poświadczenie tylko-IMAP, bez dostępu do panelu) — **[do
|
||||
weryfikacji na żywo]**, ale jeśli tak, jest to *ściślejsze* uprawnienie niż
|
||||
token JMAP.
|
||||
- JMAP nie jest zamknięty na zawsze: koperta i archiwum są protokołowo obojętne,
|
||||
więc wymiana transportu w przyszłości nie dotyka danych.
|
||||
|
||||
**Konsekwencja dokumentacyjna:** po zatwierdzeniu trzeba poprawić
|
||||
`kb-mail-pillar.md` §2/§7/§9 i §10 planu fazy mailowej, żeby nie zostawiać
|
||||
w KB dwóch sprzecznych zapisów. Nazwy jobów z tamtych dokumentów
|
||||
(`jobs/fastmail-poller` + `jobs/gmail-imap-poller`) tracą sens przy jednym
|
||||
adapterze — proponuję **jeden `jobs/mail-imap-sync`** sparametryzowany kontem.
|
||||
|
||||
### (c) Sekrety — gdzie trzymać hasła
|
||||
|
||||
> **Sprostowanie założenia.** Zlecenie mówi, że `POSTGRES_PASSWORD` leży dziś
|
||||
> plaintextem w `services/*/service.yaml`. **Tak nie jest.** `service.yaml`
|
||||
> wymienia wyłącznie *nazwy* zmiennych (`runtime.env_vars: [POSTGRES_PASSWORD]`
|
||||
> — `services/kb-postgres/service.yaml:22`), pliki `env.example` zawierają
|
||||
> placeholdery (`POSTGRES_PASSWORD=change-me-strong-password`), a `.gitignore`
|
||||
> blokuje `.env` i `*.env`. Skan wszystkich śledzonych plików YAML pod kątem
|
||||
> wartości wyglądających na sekrety (≥12 znaków, po odsianiu placeholderów)
|
||||
> zwrócił **zero trafień**. Wzorzec repo jest poprawny i to jego należy użyć,
|
||||
> a nie zastępować.
|
||||
|
||||
**Rekomendacja: rozszerzyć istniejący `/opt/homelab/kb/.env` na PIHA.**
|
||||
|
||||
Zweryfikowane na żywo: plik istnieje, ma uprawnienia **`-rw------- root root`**,
|
||||
262 bajty, i trzyma już `KB_DSN`, `PAPERLESS_API_TOKEN` oraz
|
||||
`ANTHROPIC_API_KEY`. `kb-ingest.service` czyta go przez
|
||||
`EnvironmentFile=/opt/homelab/kb/.env`, mimo że sam biegnie jako `User=oskar` —
|
||||
systemd wczytuje `EnvironmentFile` **jako root, przed zrzuceniem uprawnień**.
|
||||
Efekt: sekret jest wstrzykiwany do procesu, ale **nie jest czytelny dla
|
||||
użytkownika `oskar` w spoczynku**. To jest lepsza własność, niż dałby plik
|
||||
`600 oskar:oskar`, i warto ją zachować świadomie, a nie przypadkiem.
|
||||
|
||||
Dokładamy cztery klucze:
|
||||
|
||||
```
|
||||
MAIL_GMAIL_USER=…
|
||||
MAIL_GMAIL_APP_PASSWORD=…
|
||||
MAIL_FASTMAIL_USER=…
|
||||
MAIL_FASTMAIL_APP_PASSWORD=…
|
||||
```
|
||||
|
||||
Repo dostaje **wyłącznie** `jobs/mail-imap-sync/env.example` z placeholderami —
|
||||
dokładnie jak `services/*/env.example`.
|
||||
|
||||
Zasady wykonawcze, wszystkie wyprowadzone z tego, co już się w tym repo
|
||||
wydarzyło:
|
||||
|
||||
1. **Nigdy w argv.** `--dsn <hasło>` trafia do `ps` i do historii powłoki.
|
||||
Istniejące joby dopuszczają `--dsn`, ale honorują też `KB_DSN` z env —
|
||||
nowy job niech przyjmuje poświadczenia **tylko** ze środowiska, bez
|
||||
odpowiednika `--password`.
|
||||
2. **Nigdy do transkryptu.** W repo są **dwa** udokumentowane przypadki rotacji
|
||||
po wycieku do transkryptu sesji: token Paperless (`docs/sessions/2026-07-15.md`
|
||||
§Krok 3) i klucz Anthropic (`docs/sessions/2026-07-21.md`, incydent 3).
|
||||
To nie jest hipotetyczne ryzyko — to jedyny sposób, w jaki sekrety w tym
|
||||
homelabie dotąd wyciekały. Instalacja hasła musi się odbyć bez wypisywania go
|
||||
na ekran.
|
||||
3. **Hasła aplikacji, nie hasła kont** — odwoływalne pojedynczo, bez dostępu do
|
||||
ustawień konta i bez omijania 2FA.
|
||||
4. **Bez własnego szyfrowania.** SOPS/age/vault to nowy byt operacyjny (klucze,
|
||||
dystrybucja, odtwarzanie po awarii) dla jednego pliku na jednym hoście.
|
||||
Nieproporcjonalne, i wprost sprzeczne z „użyj istniejących mechanizmów".
|
||||
|
||||
Odrzucone: sekrety w `hosts/<node>/runtime/…` (śledzone w Gicie);
|
||||
`docker secret` (wymaga Swarma, którego repo świadomie nie używa —
|
||||
patrz konwencja `mem_limit` w CLAUDE.md); osobny plik per job (rozdrabnia to,
|
||||
co już jest scentralizowane i poprawnie uprawnione).
|
||||
|
||||
### (d) Host schedulera
|
||||
|
||||
**Rekomendacja: PIHA** — pełne uzasadnienie w §3.1 (24/7, archiwum kanoniczne,
|
||||
lokalny kb-postgres, istniejący precedens `kb-ingest.timer`, decyzja
|
||||
architektoniczna zakazująca stawiania na SOLARII czegokolwiek, co wymaga 24/7).
|
||||
|
||||
**Do rozstrzygnięcia razem z tym: takt indeksowania wobec dobowego cyklu
|
||||
SOLARII** (§3.3). Rekomendacja: pobieranie co godzinę (`kb-mail-sync`, bez GPU),
|
||||
indeksowanie częściej niż raz na dobę i bramkowane probe'em Ollamy, żeby
|
||||
któryś tick trafił w okno pracy desktopu. Bez tego backlog embedów rośnie
|
||||
każdej nocy i `KbEmbedBacklogGrowing` zapala się na stałe.
|
||||
|
||||
### (e) Zakres folderów per konto
|
||||
|
||||
**Rekomendacja:**
|
||||
|
||||
| Konto | Foldery | Uzasadnienie |
|
||||
|---|---|---|
|
||||
| gmail | **wyłącznie `\All`** (SPECIAL-USE, nie nazwa) | jedna wiadomość = jeden fetch mimo wielu etykiet; ta sama populacja co Takeout, na którym stoi 225 030 istniejących kopert → ciągłość korpusu |
|
||||
| fastmail | `INBOX` + `Archive` + `Sent` | brak odpowiednika `\All`; te trzy pokrywają korespondencję prowadzoną i zarchiwizowaną |
|
||||
|
||||
Wyłączone z obu kont: `Spam`, `Trash`, `Drafts`. Spam i Trash to zdefiniowany
|
||||
szum, a ich włączenie zmieniłoby populację względem tego, co już jest w bazie
|
||||
(plan §Decyzja 4 odnotowuje, że Takeout „All Mail" nie zawiera Spamu). Drafty
|
||||
nie są korespondencją — nie mają stabilnego Message-ID i mutują.
|
||||
|
||||
Zakres **musi być konfigurowalny listą per konto** (`MAIL_<ACCOUNT>_FOLDERS`),
|
||||
bo tabela stanu jest kluczowana `(account, folder)`. Rozszerzenie o kolejny
|
||||
folder jest wtedy zmianą konfiguracji, nie kodu, a dedup po Message-ID
|
||||
gwarantuje, że dołożenie folderu z częściowo pokrywającą się zawartością niczego
|
||||
nie zduplikuje.
|
||||
|
||||
**Osobne pytanie, którego nie rozstrzygam za operatora: historia Fastmaila.**
|
||||
Konto ma zawartość sprzed dziś, a przyrostówka domyślnie zaczyna od
|
||||
„od teraz" (`last_uid` = `UIDNEXT-1` przy pierwszym `SELECT`). Dwie opcje:
|
||||
|
||||
- **(e1) Tylko nowe.** Pierwszy tick zapisuje `last_uid` i nie pobiera nic
|
||||
wstecz. Najprostsze, natychmiastowe, historia zostaje poza KB.
|
||||
- **(e2) Pełny zaciąg.** Pierwszy przebieg z `UID SEARCH ALL` ściąga całą
|
||||
zawartość wybranych folderów. Koszt zależy od rozmiaru skrzynki, którego
|
||||
**nie znam** — to jest dokładnie ta „decyzja otwarta: sizing", którą
|
||||
`kb-mail-pillar.md` §9 trzyma niezamkniętą od czerwca.
|
||||
|
||||
**Rekomendacja: (e2), ale dopiero po pomiarze.** Historia Fastmaila to
|
||||
prawdopodobnie ta „sensowna poczta", o którą operatorowi chodziło bardziej niż
|
||||
o gmailowe newslettery — a mechanizm jest ten sam co dla przyrostu, więc nie
|
||||
kosztuje osobnego kodu. Warunek: najpierw jedno bezpieczne zapytanie
|
||||
(`SELECT` folderu + `STATUS (MESSAGES)`), które poda liczbę wiadomości, i
|
||||
dopiero na tej liczbie decyzja. Wykonalne w minutę **po** postawieniu klienta —
|
||||
nie ma sensu zgadywać teraz.
|
||||
|
||||
### (f) Nowa decyzja, której zlecenie nie wymieniało: model stanu synca
|
||||
|
||||
Wypływa z §2.2 i wymaga zgody, bo dokłada **migrację `005`** do bazy, o której
|
||||
faza mailowa deklarowała „zero migracji".
|
||||
|
||||
**Rekomendacja: tabela `mail_sync_state` w kb-postgres** (wariant A), nie plik
|
||||
w `/opt/homelab/state/`. Powód rozstrzygający: stan synca i dane, którym
|
||||
odpowiada, muszą się odtwarzać razem. Plik stanu przeżywający restore bazy
|
||||
sprawia, że przyrostówka **cicho przeskakuje** wszystko między odtworzonym
|
||||
stanem a bieżącym `last_uid` — awaria bez objawów, wykrywalna dopiero przy
|
||||
zauważeniu brakujących maili miesiące później.
|
||||
|
||||
### (g) Nowa decyzja: `fastmail` w domyślnym trybie wyszukiwania
|
||||
|
||||
Z §2.5 (iii). `DEFAULT_SUMMARYLESS_SOURCES = ("gmail",)` sprawia, że koperty
|
||||
fastmail byłyby niewidoczne w `/search` mimo poprawnego zembedowania.
|
||||
|
||||
**Rekomendacja: rozszerzyć do `("gmail", "fastmail")` w tym samym commicie,
|
||||
który wprowadza źródło `fastmail`** — nie później. Rozdzielenie tych zmian tworzy
|
||||
okno, w którym system wygląda na działający, a wyszukiwarka po cichu gubi całe
|
||||
źródło. Zmiana jest jednowierszowa i nie ma wpływu na paperless (idzie kaskadą)
|
||||
ani na inwariant startowy `kb-query` (sprawdza model embeddera, nie źródła).
|
||||
|
||||
---
|
||||
|
||||
## 5. Zależności z reconem multiagentowym i planem dyspozytora
|
||||
|
||||
Sprawdzony dokument: `docs/architecture/RECON-multiagent-2026-07-27.md`
|
||||
**już nie istnieje pod tą ścieżką** — migracja OKF przeniosła go commitem
|
||||
`00de810` do `kb/subsystems/recon-multiagent.md` (`type: subsystem`).
|
||||
Analogicznie recony-audyty poszły commitem `9f77a72` do `kb/audits/`
|
||||
(`type: audit`, wymagane pole `as_of`) — dlatego ten dokument leży
|
||||
w `kb/audits/`, nie w `docs/architecture/`.
|
||||
|
||||
**Wprost: planu dyspozytora w tym reconie nie ma.** Dokument dotyczy w całości
|
||||
subsystemu A (control-plane, node-agenty, MQTT, event pipeline, topologia).
|
||||
`kb-query` pojawia się w nim wyłącznie jako wiersz inwentarza („kb-query | piha",
|
||||
linia 129) i jako rozjazd topologii (linia 463: `topology.yaml` pomija
|
||||
kb-query, choć `hosts/piha` go ma). Fraza „dyspozytor" nie występuje.
|
||||
|
||||
Dyspozytor jest zdefiniowany gdzie indziej —
|
||||
`kb/decisions/architektura-2026-07-28.md`: *„B — do-the-work: dyspozytor zadań
|
||||
(agent) + nogi KB / Home Assistant / homelab-ops. **Osobny wysiłek, osobny
|
||||
projekt**"*, z PIHA jako *„przyszłym domem dyspozytora subsystemu B"*.
|
||||
|
||||
**Zależności twardych (blokujących) nie ma w żadną stronę.** Przyrostówka pisze
|
||||
do `envelope`/`document_chunk`; kb-query czyta. Kontrakt między nimi to schemat
|
||||
bazy, który się nie zmienia. Są natomiast **cztery realne styki**, które warto
|
||||
mieć zapisane:
|
||||
|
||||
1. **Wybór hosta jest zgodny z docelową architekturą.** Dyspozytor ma zamieszkać
|
||||
na PIHA; przyrostówka też tam trafia. Świeżość korpusu i jego konsument będą
|
||||
w tym samym miejscu, bez nowych przeskoków sieciowych.
|
||||
2. **Świeżość jest warunkiem sensowności dyspozytora.** Agent odpowiadający na
|
||||
„co pisał X w zeszłym tygodniu" na korpusie urwanym 2026-06-19 zwróci
|
||||
pewną siebie i nieprawdziwą odpowiedź. Przyrostówka jest tym, co zamienia
|
||||
KB z archiwum w źródło bieżące — i to jest jej główny związek z subsystemem B.
|
||||
3. **Wiki-kompilat jest zablokowany wprost.** `kb/phases/kb-m5-faza3.md:620`:
|
||||
*„Pełna wiki po fazie mailowej (przyrostówka) — wcześniej kompilat byłby
|
||||
fotografią przeszłości"*. To jedyna znaleziona **jawna** zależność „X czeka na
|
||||
przyrostówkę" w całym KB.
|
||||
4. **Nowy timer powiększa „shadow set" z otwartego pytania nr 5 tamtego reconu.**
|
||||
Recon multiagentowy wymienia `kb-ingest` wśród bytów instalowanych **poza**
|
||||
GitOps-owym wykrywaniem dryfu (*„shadow-deploy family: stability-agent,
|
||||
agent-system, frigate, kb-ingest, HA config push"*) i stawia decyzję: co jest
|
||||
w zakresie detekcji dryfu. `kb-mail-sync.timer` dołoży się do tej samej listy.
|
||||
Nie blokuje to niczego i nie jest powodem do zmiany planu — ale przy
|
||||
rozstrzyganiu pytania 5 lista będzie o jedną pozycję dłuższa i lepiej, żeby
|
||||
trafiła tam świadomie niż przez przeoczenie.
|
||||
|
||||
Dla `kb-query` „API bez UI" przyrostówka nie zmienia **nic** po stronie
|
||||
kontraktu HTTP: `/search` przyjmuje `q` i `mode`, a źródła są wewnętrznym
|
||||
szczegółem retrievalu. Jedyny punkt styku to Decyzja **(g)** — bez niej nowe
|
||||
źródło nie pojawi się w odpowiedziach ani przez UI, ani przez API.
|
||||
|
||||
---
|
||||
|
||||
## 6. Podsumowanie i zakres pracy
|
||||
|
||||
**Stan wyjściowy.** Korpus mailowy jest kompletny i zaindeksowany — do
|
||||
**2026-06-19**. Od 48 dni nie przyrasta, i nie przyrośnie, bo w repo nie ma ani
|
||||
jednej linii kodu rozmawiającej z serwerem pocztowym. Przy zmierzonym tempie
|
||||
~37 maili/dobę poza KB jest już ~1 800 wiadomości, a licznik bije dalej.
|
||||
|
||||
**Co trzeba zbudować** (szacunek: 2 sesje, w tym testy):
|
||||
|
||||
| # | Element | Rodzaj |
|
||||
|---|---|---|
|
||||
| 1 | `jobs/mail-imap-sync` — klient IMAP (stdlib `imaplib`), pętla UIDVALIDITY/UIDNEXT, wybór folderu po SPECIAL-USE | nowy kod |
|
||||
| 2 | Migracja `005_mail_sync_state.sql` | nowy plik |
|
||||
| 3 | Wstawianie kopert z `entities = [headers, attachment]` w jednym kroku (reuse `parse_headers` + `parse_headers_fallback`) | reuse |
|
||||
| 4 | `--source` / `--sources` w `mail_body_ingest.fetch_envelopes` + tryb „koperty bez chunków" | 2 małe zmiany |
|
||||
| 5 | Zawężenie `fetch_existing_chunk_keys` do zbioru roboczego | 1 mała zmiana |
|
||||
| 6 | `DEFAULT_SUMMARYLESS_SOURCES` += `"fastmail"` | 1 wiersz |
|
||||
| 7 | Licznik `envelopes_conflict_other_source` | 1 mała zmiana |
|
||||
| 8 | `systemd/kb-mail-sync.{service,timer}` + `kb-mail-sync-run.sh` | wzorzec 1:1 z `documents-ingest/systemd/` |
|
||||
| 9 | Metryki `.prom` + reguła `KbMailSyncStale` w `services/fleet-prometheus/rules/` | wzorzec 1:1 z `kb-ingest.yml` |
|
||||
| 10 | `env.example` + rozszerzenie `/opt/homelab/kb/.env` na PIHA | placeholdery w repo, wartości poza |
|
||||
|
||||
Punkty 4–7 to cztery drobne zmiany w istniejącym kodzie; **cały właściwy nowy
|
||||
kod to pozycja 1**. Reszta pipeline'u — archiwum, koperta, parse z hardeningiem
|
||||
8-bitowym, quote-strip, chunker, batch embed z breakerem i bisekcją, tor
|
||||
Prometheus — jest zbudowana, przetestowana i przećwiczona na 225 tysiącach
|
||||
wiadomości.
|
||||
|
||||
**Trzy rzeczy, które łatwo przeoczyć, a każda kosztuje cicho:**
|
||||
|
||||
1. Koperty bez `entities[type=headers]` dostają prefiks
|
||||
`Temat: (brak tematu) | Od: ?` — **bez błędu**, tylko z gorszym retrievalem
|
||||
(§2.5 i).
|
||||
2. `fastmail` nieujęty w `DEFAULT_SUMMARYLESS_SOURCES` znika z wyników mimo
|
||||
poprawnego zembedowania — **bez błędu** (§2.5 iii).
|
||||
3. Etap mailowy dopięty do ticku 03:30 zapali `KbEmbedBacklogGrowing` na stałe,
|
||||
bo o tej porze SOLARIA śpi — potwierdzone dziś odczytem
|
||||
`kb_ingest_embed_skipped 1` (§3.3).
|
||||
|
||||
**Do decyzji operatora przed startem:** (a) Gmail IMAP+app password,
|
||||
(b) Fastmail IMAP+app password — co domyka otwartą od czerwca decyzję
|
||||
„unifikacja adaptera" i **wymaga korekty** zapisów o JMAP w
|
||||
`kb-mail-pillar.md` i §10 planu, (c) sekrety w istniejącym
|
||||
`/opt/homelab/kb/.env` (**założenie zlecenia o plaintextowych hasłach w repo
|
||||
jest nieprawdziwe** — obecny wzorzec jest poprawny), (d) PIHA + korekta taktu
|
||||
indeksowania, (e) `\All` dla Gmaila i `INBOX`+`Archive`+`Sent` dla Fastmaila,
|
||||
plus osobno historia Fastmaila po pomiarze rozmiaru skrzynki, (f) stan synca
|
||||
jako tabela w bazie, (g) `fastmail` w domyślnym trybie wyszukiwania.
|
||||
|
|
@ -13,7 +13,10 @@ links: []
|
|||
> retrieval, Etap A apply na żywej bazie, bramka jakościowa **PASS** — patrz §8).
|
||||
> **Etap B (Krok 6) ZAMKNIĘTY 2026-08-06**: pełny korpus gmail jest zchunkowany
|
||||
> i zembedowany (389 012 chunków, zero nie-excluded bez wektora) — patrz §9
|
||||
> „Wynik Etapu B". Następny: Krok 7 (recon przyrostówki IMAP/JMAP).
|
||||
> „Wynik Etapu B". **Krok 7 (recon przyrostówki) WYKONANY 2026-08-06**:
|
||||
> `kb/audits/mail-sync-2026-08-06.md` — czeka na decyzje operatora (a)-(g),
|
||||
> w tym rozstrzygnięcie IMAP vs JMAP dla Fastmaila (§10 niżej mówi JMAP,
|
||||
> recon rekomenduje wspólny IMAP).
|
||||
>
|
||||
> Kontynuacja `05-faza4-plan.md` (faza 4: `packages/kb-retrieval` wydzielone,
|
||||
> serwis `kb-query` z UI działa na PIHA — „KB po raz pierwszy odpowiada przez
|
||||
|
|
@ -695,6 +698,15 @@ oznacza co innego: backend embed padł, trzeba wznowić plaster po naprawie Olla
|
|||
|
||||
## 10. Krok 7 — IMAP/JMAP przyrostówka (zarys; szczegóły = osobny recon)
|
||||
|
||||
> **Recon wykonany 2026-08-06: `kb/audits/mail-sync-2026-08-06.md`.** Zarys
|
||||
> poniżej pochodzi z 2026-07-22 i zachowuję go jako zapis intencji. Recon
|
||||
> rozstrzyga inaczej dwa jego punkty: (1) **Fastmail przez IMAP, nie JMAP**
|
||||
> (unifikacja adaptera — jeden `jobs/mail-imap-sync` zamiast
|
||||
> `fastmail-poller` + `gmail-imap-poller`), (2) spoiwem z torem body nie jest
|
||||
> `--since`, tylko kolejka „koperty bez chunków". Reszta zarysu (poll zamiast
|
||||
> IDLE, reuse `save_eml`/`insert_envelope`, sekrety w `/opt/homelab/config/`)
|
||||
> się potwierdziła.
|
||||
|
||||
Zakotwiczone w kb-00 jako etapy 3–4 (`jobs/fastmail-poller`,
|
||||
`jobs/gmail-imap-poller`). Zarys decyzji do tamtego reconu:
|
||||
|
||||
|
|
@ -734,7 +746,7 @@ Zakotwiczone w kb-00 jako etapy 3–4 (`jobs/fastmail-poller`,
|
|||
| 4 | rsync + Etap A (12 mies.) + kalibracja | 2 | 1 sesja | **WYKONANE** | §7 „Wynik Etapu A" (run na żywo 2026-07-23); potwierdzone na żywej bazie 2026-08-04: `document_chunk` gmail = 33 871 (6 398 z embeddingiem + 27 473 `newsletter`) — zgodne co do sztuki z tabelą §7 |
|
||||
| 5 | Bramka jakościowa (eval mailowy + regresja) | 3, 4 + zapytania od operatora | 1 sesja | **WYKONANE** (PASS) | §8 „Wynik bramki"; `56f64e9` (eval + queries.yaml dla hybrid), `bce635c` (`mail_hit@3`, próg N2, werdykt PASS), `71eb264` (`--transport http`) |
|
||||
| 6 | Etap B (pełne archiwum) + regresja + obserwacja PIHA | 5 = PASS | 1 sesja | **WYKONANE** (2026-08-06) | §9 „Wynik Etapu B"; żywa baza: 389 012 chunków, 0 nie-excluded bez embeddingu. Weryfikacja plastrami 0-4 (wszystkie EXIT 0) + fix NUL `4ec0b78`; `docs/sessions/2026-08-06-kb-etapb-backfill.md` |
|
||||
| 7 | Recon przyrostówki IMAP/JMAP | — (po 6) | 1 sesja (poza DoD fazy) | **OTWARTE — NEXT** | Odblokowane przez zamknięcie Etapu B. Brak `jobs/fastmail-poller` / `jobs/gmail-imap-poller`, brak dokumentu reconu; IMAP/JMAP występuje wyłącznie jako zarys w §10 i w `kb-00-overview.md` |
|
||||
| 7 | Recon przyrostówki IMAP/JMAP | — (po 6) | 1 sesja (poza DoD fazy) | **WYKONANE** (2026-08-06) | `kb/audits/mail-sync-2026-08-06.md`. Ustalenia: korpus urywa się 2026-06-19 (dziura 48 dni ≈ 1 800 maili), zero kodu IMAP w repo, brak modelu stanu synca; cały nowy kod to jeden `jobs/mail-imap-sync` + 4 drobne zmiany w istniejącym torze. Do decyzji operatora: (a)-(g) w §4 tamtego dokumentu |
|
||||
|
||||
**Kryterium ukończenia fazy mailowej:** (a) pełny korpus gmail zchunkowany
|
||||
(bilans domknięty, `parse_errors` na poziomie pojedynczych sztuk jak
|
||||
|
|
|
|||
Loading…
Reference in a new issue