模型設定 | LanSphere 使用手冊

模型設定

模型是工作流、對話流、智慧體與知識庫的能力底座。本篇介紹如何在 LanSphere 中接入模型供應商、管理可用模型、設定系統預設模型,以及保障呼叫穩定性的設定方法,並給出按場景選型的建議。適合管理員與擁有者閱讀。

提示:「模型列表」的檢視面向開發人員及以上角色;憑證管理、模型增刪與預設模型設定僅管理員和擁有者可用。

入口

個人中心 → 系統設定 →「模型列表」。

模型列表按供應商分組展示已接入的模型,包含模型名稱、模型類型與啟用狀態。

新增供應商憑證

  1. 在模型列表中找到目標供應商,點擊「設定」或「新增憑證」;
  2. 填寫該供應商的 API Key 等憑證資訊(部分供應商頁面提供憑證取得指引,按頁面提示完成);
  3. 儲存後,該供應商下的模型即可在平台內使用。

注意:API Key 是呼叫模型服務的計費憑證,請妥善保管,不要洩露給無關人員。憑證在平台內加密儲存,列表中不明文展示。

管理模型

  • 新增模型:在供應商卡片中選擇需要使用的模型並啟用;
  • 啟用 / 停用:停用後,該模型不再出現在應用編排的模型選擇列表中,已引用該模型的應用需切換其他模型後再執行;
  • 刪除憑證:刪除後該供應商下所有模型不可用,請確認無應用依賴後再操作。

系統預設模型

平台為不同用途分別提供預設模型設定,未在應用中單獨指定模型時按預設模型執行:

預設模型 用途
預設對話模型 工作流與對話流的大模型節點、智慧體推理等產生場景
向量模型 知識庫文件分段向量化與語意檢索
重排序模型 知識庫召回結果的精排,提升檢索準確度

預設模型僅管理員和擁有者可設定。調整預設對話模型後,新建應用與新節點按新預設執行;已設定模型的既有應用不受影響。

負載平衡與穩定性

針對生產環境的高頻呼叫,平台提供兩項保障能力:

  • 多金鑰負載平衡:為同一模型設定多個 API Key,呼叫按權重在各 Key 之間分擔,避免單個 Key 觸發供應商的頻率限制。例如為同一模型設定兩個 Key,可按 6:4 分配呼叫量。
  • 逾時與重試:為模型呼叫設定逾時時間與失敗重試次數,供應商服務抖動時自動重試,提升應用執行穩定性。

按場景的選型建議

不同場景對模型能力的要求差異較大,建議按以下思路選型:

場景 建議
複雜推理、長文撰寫、資料分析 選擇推理與長文字能力更強的高階模型
高頻簡單問答、格式轉換、意圖識別 選擇回應快、成本低的輕量模型,兼顧速度與費用
知識庫語意檢索 向量模型與重排序模型搭配使用,召回階段保證涵蓋、精排階段保證準確
對外服務的生產應用 優先選擇服務穩定性高的模型,並設定多 Key 負載平衡

提示:正式選用前,建議在應用編排頁對候選模型進行實際問題的偵錯對比,以真實業務問題的回答品質作為選型依據。

常見問題

問題 排查方向
應用中選不到某個模型 檢查模型列表中該模型是否已啟用、供應商憑證是否有效
呼叫頻繁失敗 檢查 API Key 額度與頻率限制,設定多 Key 負載平衡或增大重試次數
知識庫檢索效果差 確認向量模型已正確設定,嘗試開啟重排序模型