模型設定
模型是工作流、對話流、智慧體與知識庫的能力底座。本篇介紹如何在 LanSphere 中接入模型供應商、管理可用模型、設定系統預設模型,以及保障呼叫穩定性的設定方法,並給出按場景選型的建議。適合管理員與擁有者閱讀。
提示:「模型列表」的檢視面向開發人員及以上角色;憑證管理、模型增刪與預設模型設定僅管理員和擁有者可用。
入口
個人中心 → 系統設定 →「模型列表」。
模型列表按供應商分組展示已接入的模型,包含模型名稱、模型類型與啟用狀態。
新增供應商憑證
- 在模型列表中找到目標供應商,點擊「設定」或「新增憑證」;
- 填寫該供應商的 API Key 等憑證資訊(部分供應商頁面提供憑證取得指引,按頁面提示完成);
- 儲存後,該供應商下的模型即可在平台內使用。
注意:API Key 是呼叫模型服務的計費憑證,請妥善保管,不要洩露給無關人員。憑證在平台內加密儲存,列表中不明文展示。
管理模型
- 新增模型:在供應商卡片中選擇需要使用的模型並啟用;
- 啟用 / 停用:停用後,該模型不再出現在應用編排的模型選擇列表中,已引用該模型的應用需切換其他模型後再執行;
- 刪除憑證:刪除後該供應商下所有模型不可用,請確認無應用依賴後再操作。
系統預設模型
平台為不同用途分別提供預設模型設定,未在應用中單獨指定模型時按預設模型執行:
| 預設模型 | 用途 |
|---|---|
| 預設對話模型 | 工作流與對話流的大模型節點、智慧體推理等產生場景 |
| 向量模型 | 知識庫文件分段向量化與語意檢索 |
| 重排序模型 | 知識庫召回結果的精排,提升檢索準確度 |
預設模型僅管理員和擁有者可設定。調整預設對話模型後,新建應用與新節點按新預設執行;已設定模型的既有應用不受影響。
負載平衡與穩定性
針對生產環境的高頻呼叫,平台提供兩項保障能力:
- 多金鑰負載平衡:為同一模型設定多個 API Key,呼叫按權重在各 Key 之間分擔,避免單個 Key 觸發供應商的頻率限制。例如為同一模型設定兩個 Key,可按 6:4 分配呼叫量。
- 逾時與重試:為模型呼叫設定逾時時間與失敗重試次數,供應商服務抖動時自動重試,提升應用執行穩定性。
按場景的選型建議
不同場景對模型能力的要求差異較大,建議按以下思路選型:
| 場景 | 建議 |
|---|---|
| 複雜推理、長文撰寫、資料分析 | 選擇推理與長文字能力更強的高階模型 |
| 高頻簡單問答、格式轉換、意圖識別 | 選擇回應快、成本低的輕量模型,兼顧速度與費用 |
| 知識庫語意檢索 | 向量模型與重排序模型搭配使用,召回階段保證涵蓋、精排階段保證準確 |
| 對外服務的生產應用 | 優先選擇服務穩定性高的模型,並設定多 Key 負載平衡 |
提示:正式選用前,建議在應用編排頁對候選模型進行實際問題的偵錯對比,以真實業務問題的回答品質作為選型依據。
常見問題
| 問題 | 排查方向 |
|---|---|
| 應用中選不到某個模型 | 檢查模型列表中該模型是否已啟用、供應商憑證是否有效 |
| 呼叫頻繁失敗 | 檢查 API Key 額度與頻率限制,設定多 Key 負載平衡或增大重試次數 |
| 知識庫檢索效果差 | 確認向量模型已正確設定,嘗試開啟重排序模型 |

