DeepTutor 知識庫與 RAG 配置:文件導入、Embedding、記憶審計與備份

DeepTutor 知識庫與 RAG 配置:文件導入、Embedding、記憶審計和備份,涵蓋配置、驗證、權限邊界、故障回退和長期維護。

DeepTutor 的這個教學只處理標題中的具體任務。知識庫品質取決於文件​​清洗、Embedding 一致性和引用回查;DeepTutor 的設定、日誌、記憶與知識庫預設落在工作區 data 目錄,應把資料生命週期先設計清楚。

以下所有操作都先放在測試儲存庫、測試帳號或僅回環監聽的服務中。指令中的網域名稱、使用者名稱、路徑與金鑰是佔位符,執行前需要替換。

先固定 DeepTutor 工作區位置

這一節解決的是「先固定 DeepTutor 工作區位置」。先記錄目前狀態,再執行最小動作,最後用獨立證據確認結果。

對 DeepTutor 而言,判斷依據是:知識庫品質取決於文件​​清洗、Embedding 一致性和引用回查;DeepTutor 的設定、日誌、記憶與知識庫預設落在工作區 data 目錄,應先將資料生命週期設計清楚。不要在這個階段順手打開更多權限。

1
$env:DEEPTUTOR_HOME='D:\deeptutor-data'

執行後保留命令輸出和時間戳記。若輸出依賴目前終端機裡的臨時變量,開啟新終端複查一次。

模型和 Embedding 是兩套配置

按下面順序處理:

  1. 讀取實際版本和目前配置。
  2. 只改變與本節相關的一項設定。
  3. 執行一個唯讀或可撤銷的請求。
  4. 檢查日誌、退出碼和最終檔案。
  5. 失敗時恢復剛才那一項修改。
1
deeptutor init

這裡的完成標準不是介面出現,而是「模型和 Embedding 是兩套配置」有可重複結果。

匯入前清理 PDF 與 Markdown

要檢查的內容 合格表現 需要停止的信號
匯入前清理 PDF 與 Markdown 輸入和輸出範圍明確 自動擴大到其他項目或帳號
權限 只獲得完成任務所需權限 要求管理員權限或完整金鑰
日誌 能定位失敗且已經脫敏 出現 Token、Cookie 或私有正文
回退 能恢復上一步狀態 修改不可逆且沒有備份
1
Get-ChildItem -Recurse .\documents

表格中的停止訊號一旦出現,先撤銷本節改動,不要繼續後面的自動化。

以主題拆分知識庫而不是全部混入

圍繞「按主題拆分知識庫而不是全部混入」準備一個成功樣本和一個失敗樣本。成功樣本驗證正常路徑,失敗樣本驗證限制是否真的生效。

1
deeptutor start

建議記錄以下四項:

  • 執行前的版本或 Git 提交。
  • 實際輸入,不記錄秘密值。
  • 可觀察的輸出、狀態碼或 diff。
  • 恢復動作以及恢復後的複查結果。

如果失敗原因仍不清楚,每次只修改一個變數;不要同時更換連接埠、執行時間、Provider 和代理程式。

首次索引後做三類檢索測試

這一節解決的是「首次索引後做三類檢索測試」。先記錄目前狀態,再執行最小動作,最後用獨立證據確認結果。

對 DeepTutor 而言,判斷依據是:知識庫品質取決於文件​​清洗、Embedding 一致性和引用回查;DeepTutor 的設定、日誌、記憶與知識庫預設落在工作區 data 目錄,應先將資料生命週期設計清楚。不要在這個階段順手打開更多權限。

1
curl.exe http://127.0.0.1:3782

執行後保留命令輸出和時間戳記。若輸出依賴目前終端機裡的臨時變量,開啟新終端複查一次。

答案必須顯示可回查的證據

按下面順序處理:

  1. 讀取實際版本和目前配置。
  2. 只改變與本節相關的一項設定。
  3. 執行一個唯讀或可撤銷的請求。
  4. 檢查日誌、退出碼和最終檔案。
  5. 失敗時恢復剛才那一項修改。
1
deeptutor start

這裡的完成標準不是介面出現,而是「答案必須顯示可回查的證據」有可重複結果。

L1、L2、L3 記憶分別檢查什麼

要檢查的內容 合格表現 需要停止的信號
L1、L2、L3 記憶分別檢查什麼 輸入和輸出範圍明確 自動擴大到其他項目或帳號
權限 只獲得完成任務所需權限 要求管理員權限或完整金鑰
日誌 能定位失敗且已經脫敏 出現 Token、Cookie 或私有正文
回退 能恢復上一步狀態 修改不可逆且沒有備份
1
Get-ChildItem -Recurse $env:DEEPTUTOR_HOME

表格中的停止訊號一旦出現,先撤銷本節改動,不要繼續後面的自動化。

修正錯誤記憶而不是繼續追加

圍繞「糾正錯誤記憶而不是繼續追加」準備一個成功樣本和一個失敗樣本。成功樣本驗證正常路徑,失敗樣本驗證限制是否真的生效。

1
Get-ChildItem -Recurse $env:DEEPTUTOR_HOME | Sort-Object LastWriteTime -Descending | Select-Object -First 20

建議記錄以下四項:

  • 執行前的版本或 Git 提交。
  • 實際輸入,不記錄秘密值。
  • 可觀察的輸出、狀態碼或 diff。
  • 恢復動作以及恢復後的複查結果。

如果失敗原因仍不清楚,每次只修改一個變數;不要同時更換連接埠、執行時間、Provider 和代理程式。

Docker 磁碟區中實際保存哪些數據

這一節解決的是「Docker 卷中實際保存哪些資料」。先記錄目前狀態,再執行最小動作,最後用獨立證據確認結果。

對 DeepTutor 而言,判斷依據是:知識庫品質取決於文件​​清洗、Embedding 一致性和引用回查;DeepTutor 的設定、日誌、記憶與知識庫預設落在工作區 data 目錄,應先將資料生命週期設計清楚。不要在這個階段順手打開更多權限。

1
docker volume inspect deeptutor-data

執行後保留命令輸出和時間戳記。若輸出依賴目前終端機裡的臨時變量,開啟新終端複查一次。

更換 Embedding 模型為何要重建

按下面順序處理:

  1. 讀取實際版本和目前配置。
  2. 只改變與本節相關的一項設定。
  3. 執行一個唯讀或可撤銷的請求。
  4. 檢查日誌、退出碼和最終檔案。
  5. 失敗時恢復剛才那一項修改。
1
docker stop deeptutor

這裡的完成標準不是介面出現,而是「更換 Embedding 模型為何要重建」有可重複結果。

備份與還原一次完整知識庫

要檢查的內容 合格表現 需要停止的信號
備份與還原一次完整知識庫 輸入與輸出範圍明確 自動擴大到其他項目或帳號
權限 只獲得完成任務所需權限 要求管理員權限或完整金鑰
日誌 能定位失敗且已經脫敏 出現 Token、Cookie 或私有正文
回退 能恢復上一步狀態 修改不可逆且沒有備份
1
docker run --rm -v deeptutor-data:/data -v ${PWD}:/backup alpine tar czf /backup/deeptutor-data.tgz -C /data .

表格中的停止訊號一旦出現,先撤銷本節改動,不要繼續後面的自動化。

長期維護的抽樣評估方法

圍繞「長期維護的抽樣評估方法」準備一個成功樣本和一個失敗樣本。成功樣本驗證正常路徑,失敗樣本驗證限制是否真的生效。

1
deeptutor start

建議記錄以下四項:

  • 執行前的版本或 Git 提交。
  • 實際輸入,不記錄秘密值。
  • 可觀察的輸出、狀態碼或 diff。
  • 恢復動作以及恢復後的複查結果。

如果失敗原因仍不清楚,每次只修改一個變數;不要同時更換連接埠、執行時間、Provider 和代理程式。

掃描件 OCR 錯誤如何影響檢索

這一節解決的是「掃描件 OCR 錯誤如何影響檢索」。先記錄目前狀態,再執行最小動作,最後用獨立證據確認結果。

對 DeepTutor 而言,判斷依據是:知識庫品質取決於文件​​清洗、Embedding 一致性和引用回查;DeepTutor 的設定、日誌、記憶與知識庫預設落在工作區 data 目錄,應先將資料生命週期設計清楚。不要在這個階段順手打開更多權限。

1
Get-ChildItem -Recurse .\documents

執行後保留命令輸出和時間戳記。若輸出依賴目前終端機裡的臨時變量,開啟新終端複查一次。

中英文資料是否共用 Embedding

按下面順序處理:

  1. 讀取實際版本和目前配置。
  2. 只改變與本節相關的一項設定。
  3. 執行一個唯讀或可撤銷的請求。
  4. 檢查日誌、退出碼和最終檔案。
  5. 失敗時恢復剛才那一項修改。
1
deeptutor init

這裡的完成標準不是介面出現,而是「中英文資料是否共用 Embedding」有可重複結果。

刪除文件後的索引殘留

要檢查的內容 合格表現 需要停止的信號
刪除文件後的索引殘留 輸入和輸出範圍明確 自動擴大到其他項目或帳號
權限 只獲得完成任務所需權限 要求管理員權限或完整金鑰
日誌 能定位失敗且已經脫敏 出現 Token、Cookie 或私有正文
回退 能恢復上一步狀態 修改不可逆且沒有備份
1
Get-ChildItem -Recurse $env:DEEPTUTOR_HOME

表格中的停止訊號一旦出現,先撤銷本節改動,不要繼續後面的自動化。

恢復到全新的工作區

圍繞「恢復到全新的工作區」準備一個成功樣本和一個失敗樣本。成功樣本驗證正常路徑,失敗樣本驗證限制是否真的生效。

1
2
$env:DEEPTUTOR_HOME='D:\deeptutor-restore'
deeptutor start

建議記錄以下四項:

  • 執行前的版本或 Git 提交。
  • 實際輸入,不記錄秘密值。
  • 可觀察的輸出、狀態碼或 diff。
  • 恢復動作以及恢復後的複查結果。

如果失敗原因仍不清楚,每次只修改一個變數;不要同時更換連接埠、執行時間、Provider 和代理程式。

DeepTutor 常見問題

是否可以跳過測試環境,直接把 DeepTutor 用到正式專案?

不建議。至少先完成一次最小成功請求、一次故意失敗和一次恢復演練。

DeepTutor 指令能運行但結果不對,先查哪裡?

先查輸入範圍、實際生效的配置和上游響應,再查模型總結。進程正常不代表業務結果正確。

如何避免 DeepTutor 的金鑰或令牌進入 Git?

使用系統環境變數、Secret 管理或專案外設定文件,並在提交前搜尋 diff。發現洩漏後必須輪換密鑰。

升級 DeepTutor 時最容易漏掉什麼?

最容易漏掉配置格式、預設監聽位址、權限範圍和快取相容性。升級前儲存版本與驗證樣本。

DeepTutor 驗收問題

完成後應能回答下面的問題:

  • 使用的是哪個確切版本?
  • 哪些目錄、連接埠、帳號和外部服務可被存取?
  • 成功結果如何回到原始資料或 Git diff?
  • 上游失敗時會報錯、重試還是切換?
  • 金鑰是否可能出現在日誌或歷史記錄?
  • 如何在十分鐘內回到修改前狀態?

如果其中任何一項無法回答,DeepTutor 仍處於試用狀態,不應擴大權限或接取生產自動化。