yellowadmin/pp-qa-km
1
0
Fork 0
Code Issues 5 Pull Requests Actions Packages Projects Releases Wiki Activity
11 Commits 1 Branch 0 Tags
cb16e8688f03a3dd6f744949a8da1942d8e98e3b
Commit Graph

5 Commits

Author SHA1 Message Date
LittleYellow
3c1b268074 修復含空格/括號檔名的圖片連結失效，自檢改驗連結可 render 
來源檔名含空格或不平衡括號時，convert 產出的 Markdown 圖片連結會失效——
圖檔明明存在於磁碟，整行卻退化成純文字（CommonMark 對未包住的空格與不平衡
括號視為分隔符）。用真 CommonMark parser 驗過：中文與成對括號正常，空格與
落單括號會壞。

- convert.py / from_docx.py / from_pdf.py / from_pptx.py：四處圖片連結目標
  一律以 <> 包住（![name](<rel>)），同時涵蓋空格與不平衡括號。
- selfcheck.py：新增 assert_links_ok()——以 markdown_it 真 render，斷言圖片
  連結數 == <img> 數且目標檔存在，取代原本只檢查 "![" 字串在不在的表面斷言。
  測資補內嵌圖片（docx/pdf/pptx 各一路徑）、檔名改含空格與不平衡括號。
- requirements.txt：明確宣告 markdown-it-py（原為 fastmcp 傳遞依賴，自檢直接
  使用，宣告以免上游調整依賴樹後自檢失效）。
- AGENTS.md §13.4：新增「斷言要驗結果可用，不是驗字串存在」規則。

驗證：四個自檢全通過；移除任一處 <> 修法，assert_links_ok 即失敗。
ingest / lint / search 在含括號檔名下全鏈路已另行驗證正常（source_ref 走
YAML 純量，不受影響）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-23 06:12:47 +08:00
LittleYellow
0b4c2bbb15 修復中文路徑 preflight 與 BM25 核心詞落空，測資改照現實建 
兩個 bug 同源於自檢測資「照能過建、不照現實建」：

- ingest preflight：git status --porcelain 預設會把含中文或空格的路徑加引號
  轉義，raw/ 白名單比對因此失效，中文檔名的 convert 產出被誤判為 raw/ 以外的
  未提交變更而中止攝入。舊測資用 ASCII 檔名，整條路徑從未被走過。

- search：BM25Okapi 的 idf 在 df >= N/2 時 <= 0（rank_bm25 對負 idf 的替代值
  epsilon x average_idf 在 average_idf 為負時同樣為負），與 search() 的 s > 0
  過濾相乘，會讓「每頁都提到的核心詞」查詢全數落空——知識庫愈小、詞愈核心
  愈嚴重，MCP 的 search_wiki 一併受害。改用 Lucene 式恆正 idf。
  舊測資每個查詢詞都只出現在一頁（df=1），恰好避開此配置。

變更：
- tools/ingest.py：preflight 比對前剝除 git 的轉義引號
- tools/search.py：_BM25 子類覆寫 _calc_idf 為 log(1 + (N-df+0.5)/(df+0.5))
- tools/selfcheck_ingest.py：新增 preflight 中文檔名放行 / 非 raw 擋下的檢查
- tools/selfcheck_search.py：新增與既有頁共用核心詞的測資，鎖住 idf 退化
- tools/convert/selfcheck.py、tools/selfcheck_lint.py：測資檔名改中文＋空格
- AGENTS.md §13.4：新增「測資照現實建，不是照能過建」規則
- README.md §3.2：補 convert 產出應保持未提交、由 ingest 一併 commit 的流程

驗證：四個自檢全數通過；分別移除兩個修法後對應檢查會失敗。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 07:21:45 +08:00
LittleYellow
cfd1876359 轉換工具強化：失敗診斷訊息 + 舊版格式升版 + 掃描 PDF vision fallback 
- convert.py：轉換失敗改印例外型別、批次尾端彙總、--traceback 旗標；
  空白轉換結果示警（避免純圖片 docx 等假成功靜默入庫）
- from_legacy.py（B）：.doc/.xls/.ppt 經本地 LibreOffice headless 升版為
  現代格式後再走既有轉換器；raw/originals 仍保存真正的舊格式原始檔
- to_image.py + from_vision.py（A）：needs_ocr 的掃描/圖片型 PDF 逐頁
  render → 本地 vision 模型轉錄（--vision）；:cloud/未設定防護，
  模型設定走 config/models.yaml 的 tasks.vision（預設不啟用）
- kb.ollama_chat 加 images 參數（向後相容）；models.yaml 加 vision 範例
- selfcheck 補 legacy 路由、to_image 真測、from_vision 注入測、
  --vision 端到端，全數 ALL PASS

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 07:00:32 +08:00
LittleYellow
8d58436f05 Phase 2: 轉換管線 — 五個本地轉換器 + convert.py 統一入口 + selfcheck 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-14 20:51:17 +08:00
LittleYellow
59c16ea393 Phase 1: 骨架與 schema — 目錄結構、AGENTS.md 正本、指標檔、models.yaml、index/log 模板、manifest 結構 
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
 2026-07-14 07:42:45 +08:00