模型設定 | LanSphere 使用手冊

模型設定

模型係工作流、對話流、智能體同知識庫嘅能力底座。本篇介紹點樣喺 LanSphere 接入模型供應商、管理可用模型、設定系統預設模型,以及保障調用穩定性嘅設定方法,並提供按場景選型嘅建議。適合管理員同擁有者閱讀。

提示:「模型列表」嘅查看面向開發人員及以上角色;憑證管理、模型增刪同預設模型設定僅管理員同擁有者可用。

入口

個人中心 → 系統設定 →「模型列表」。

模型列表按供應商分組展示已接入嘅模型,包含模型名稱、模型類型同啟用狀態。

新增供應商憑證

  1. 喺模型列表中搵到目標供應商,點擊「設定」或「新增憑證」;
  2. 填寫該供應商嘅 API Key 等憑證資料(部分供應商頁面提供憑證獲取指引,按頁面提示完成);
  3. 儲存後,該供應商下嘅模型即可喺平台內使用。

注意:API Key 係調用模型服務嘅計費憑證,請妥善保管,切勿洩露畀無關人員。憑證喺平台內加密儲存,列表中唔會明文展示。

管理模型

  • 新增模型:喺供應商卡片中選擇需要使用嘅模型並啟用;
  • 啟用 / 停用:停用後,該模型唔再出現喺應用編排嘅模型選擇列表中,已引用該模型嘅應用需切換其他模型後先可以運行;
  • 刪除憑證:刪除後該供應商下所有模型唔可用,請確認冇應用依賴後再操作。

系統預設模型

平台為唔同用途分別提供預設模型設定,未喺應用中單獨指定模型嗰陣按預設模型執行:

預設模型 用途
預設對話模型 工作流同對話流嘅大模型節點、智能體推理等生成場景
向量模型 知識庫文件分段向量化同語義檢索
重排序模型 知識庫召回結果嘅精排,提升檢索準確度

預設模型僅管理員同擁有者可設定。調整預設對話模型後,新建應用同新節點按新預設執行;已設定模型嘅既有應用唔受影響。

負載平衡與穩定性

針對生產環境嘅高頻調用,平台提供兩項保障能力:

  • 多金鑰負載平衡:為同一模型設定多個 API Key,調用按權重喺各 Key 之間分擔,避免單個 Key 觸發供應商嘅頻率限制。例如為同一模型設定兩個 Key,可按 6:4 分配調用量。
  • 逾時與重試:為模型調用設定逾時時間同失敗重試次數,供應商服務抖動嗰陣自動重試,提升應用運行穩定性。

按場景嘅選型建議

唔同場景對模型能力嘅要求差異較大,建議按以下思路選型:

場景 建議
複雜推理、長文撰寫、數據分析 選擇推理同長文本能力更強嘅高階模型
高頻簡單問答、格式轉換、意圖識別 選擇回應快、成本低嘅輕量模型,兼顧速度同費用
知識庫語義檢索 向量模型同重排序模型搭配使用,召回階段保證覆蓋、精排階段保證準確
對外服務嘅生產應用 優先選擇服務穩定性高嘅模型,並設定多 Key 負載平衡

提示:正式選用前,建議喺應用編排頁對候選模型進行實際問題嘅調試對比,以真實業務問題嘅回答質量作為選型依據。

常見問題

問題 排查方向
應用中揀唔到某個模型 檢查模型列表中該模型係咪已啟用、供應商憑證係咪有效
調用頻繁失敗 檢查 API Key 額度同頻率限制,設定多 Key 負載平衡或增大重試次數
知識庫檢索效果差 確認向量模型已正確設定,嘗試開啟重排序模型