如何為您的 AI 專案選擇自訂 LLM

LLM 正在改變我們打造 AI 解決方案的方式。市面上不斷有更新、更好的現成模型推出。

我經常被問到：為什麼要選擇自訂 LLM，而不是直接使用現成方案？

如果您正在進行 AI 專案，例如打造 AI 助理或 AI 聊天機器人，您可能會選擇使用自訂的大型語言模型（LLM）。

為您的 LLM 助理 使用自訂 LLM 有許多理由，也有許多可用選擇。本文將帶您了解自訂 LLM 的不同方式。

為什麼要使用自訂 LLM？

使用自訂 LLM 有幾個原因：

• 您希望針對與業務相關的重要任務降低成本，或減少延遲。
• 您可能希望所有資料都保持私密，或使用公司內部的 LLM。
• 您可能想提升特定任務的回答品質。

無論原因為何，自訂 LLM 可讓您最佳化效能，根據業務需求平衡準確度、速度與成本。

選擇 LLM

LLM 有兩個會影響 AI 專案的特性：規模（以參數數量計算）與回應品質。

您可以把參數想像成大腦的神經元。大腦越大通常越聰明，但並非絕對。有些大腦區域也能針對特定任務（如視覺）高度優化。

對 AI 專案來說，規模通常影響回應速度，也大幅影響回應成本。需要低延遲的專案常用較小模型，但會犧牲回應品質。

選擇模型時該問什麼？

以下是選擇模型時應回答的幾個好問題：

• 我可以使用雲端 LLM，還是必須自行架設？
• 我需要回應速度有多快？
• 我需要回應有多準確？
• 我的專案能節省或產生多少收益？那麼，價格應該低於多少？
• 我需要多長的回應內容？

一般來說，要讓強大模型變快或變便宜很困難，但提升較不準確模型的表現則較容易。

不過，使用強大模型能更快開始，如果能滿足專案需求，也不需要太多工程投入（而且維護也較簡單）。

RAG、微調、N-Shot 學習與提示工程的選擇

有五個通用概念能提升 LLM 回應品質：

1. 從預訓練模型開始
2. RAG
3. 微調
4. N-shot 學習
5. 提示工程

這些方法不只適用於自訂模型，無論如何都應考慮，因為它們能相輔相成。

從模型開始

首先，您應該選擇一個起始模型。網路上有許多排行榜比較不同模型。

舉例來說：

• Hugging Face 維護著開源模型排行榜。
• Vellum 也有一個熱門模型排行榜。

如果公司有內部模型，可考慮用它來配合預算並確保資料私密。如果需要自行架設模型，可考慮開源模型。

微調

微調是給模型提供範例，讓它學會如何做好某個任務。例如，若想讓模型擅長介紹產品，可以提供公司最佳銷售通話的範例。

如果模型是開源的，請評估團隊是否有足夠工程資源進行微調。

如果模型是封閉原始碼且以服務形式提供（如 GPT-4 或 Claude），通常可透過 API 讓工程師微調自訂模型。這種方式價格通常會大幅提升，但幾乎不需維護。

但對許多應用來說，微調並不是優化模型的第一步。

微調很適合建立靜態知識型機器人。只要給定問答範例，未來就能回答類似問題而不需查找資料。但對即時資訊來說並不實用。

檢索增強生成

RAG 是個聽起來高級、其實很簡單的做法：就像我們在 ChatGPT 貼上一段文字，然後詢問相關問題。

典型例子是詢問電商網站某產品是否有現貨，聊天機器人會查詢產品目錄（而不是整個網路）來回答。

在開發速度與即時資訊取得上，RAG 幾乎是必備。

它通常不會影響您選擇哪個模型，但您完全可以建立一個 LLM API 端點查詢資料並回答，並將這個端點當作自己的 LLM 使用。

用 RAG 建立知識型聊天機器人通常更容易維護，因為不需微調模型與持續更新，也能降低成本。

N-shot 學習

最快提升回應品質的方法，是在單次 LLM API 呼叫中提供範例。

Zero-shot（完全沒給範例）是我們大多數人使用 ChatGPT 的方式。只要加上一個範例（one-shot），通常就能明顯提升回應品質。

超過一個範例就稱為 n-shot。n-shot 不會改變模型本身，您只是每次問問題前都給範例。

但這個策略不能過度使用：LLM 有最大上下文限制，且價格依訊息長度計算。微調可以省去 n-shot 範例，但需要較多時間調整。

其他提示工程技巧

還有其他提示工程技巧，例如chain-of-thought，讓模型在回答前先思考過程。

這能提升回答品質，但會增加回應長度、成本與速度。

我的建議

每個專案需求都不同，但我提供一個實用的建議方向。

建議先從速度與品質兼具的現成模型（如 GPT-4o Mini）開始。先觀察回應品質、速度、成本、上下文需求，再決定哪些地方需要加強。

接著，針對明確的應用場景，先嘗試簡單的提示工程，再用 RAG，最後進行微調。每個步驟都能提升效能，因此選擇時需多加斟酌。

隱私考量

理想狀況下，每個 LLM 都完全由自己掌控，資料不會外洩。

但現實中並非如此，且有其合理原因。

首先，架設與維護自訂模型需要大量工程資源，成本很高。若模型服務中斷，會影響業務指標，因此部署必須非常穩定。

另一個原因是產業領導者（如 OpenAI、Google、Anthropic）不斷推出更強大、更便宜的新模型，使得微調的努力很快就被取代。自從 ChatGPT 3.5 推出後，這種情況一直沒變。

如果您的應用涉及極度敏感資料，確實應該用專屬模型並針對需求優化。如果特別重視 GDPR，有許多現成符合 GDPR 的模型可選。

選好 LLM 後的開發步驟

選擇好 LLM 後，你就可以開始規劃如何建置與維護你的 AI 專案。舉例來說，我最熟悉的專案類型是：AI 智能代理或AI 聊天機器人。

你可以透過以下問題來界定你的專案範圍：

• 我希望我的 AI 智能代理部署在哪裡？（Slack、WhatsApp、網站小工具等）
• 它應該具備哪些知識？這些知識來源在哪裡？
• 除了知識問答外，還需要哪些其他功能？
• 它是否應該在企業內某些事件發生時自動啟動？

減少工程投入，節省成本

控制預算對於實現專案至關重要。其中一個方法是透過拆解需求來減少工程時間。

現在我們有許多低程式碼解決方案，像是 Flutterflow、Shopify，讓產品經理等非技術角色也能使用。聊天機器人也不例外，有些 AI 自動化平台甚至允許你使用自己的 LLM。

你可以讓工程師專注於 LLM 的部署與自動化平台的整合。這樣一來，商業分析師、產品經理等相關角色就能打造符合業務需求的 AI 智能代理。

當有額外需求時，這些平台通常也允許工程師加入自訂程式碼。如此一來，你既能保有自訂模型的優勢，又能兼顧彈性、速度與成本效益。

給工程團隊解決業務問題的彈性

另一方面，有些業務問題本身就非常棘手。

例如完全隔離網路的 LLM 應用、裝置端應用程式，或需要讓聊天機器人具備極高階能力（遠超過單純資料同步）的專案。

這種情況下，讓工程師自由選擇最熟悉的工具是合理的。通常就是直接寫程式碼，而相關人員則擔任專案管理角色。

自訂 LLM 的策略性考量

為你的 AI 專案選擇自訂 LLM，不只是挑選最佳模型，更是要做出與目標一致的策略決策。

自訂模型帶來彈性、控制力，以及針對特定任務最佳化的潛力，但同時也會增加複雜度。建議先從現成模型開始，嘗試提示工程，然後逐步優化。

記住，合適的模型應該符合你的業務需求，而不僅僅是技術堆疊。

善用強大平台進行自訂

準備好讓你的 AI 專案更上一層樓了嗎？

Botpress 是一個完全可擴充且靈活的 AI 智能代理平台。我們的技術堆疊讓開發者能夠打造適用於各種情境的聊天機器人與 AI 智能代理。

我們擁有完善的教育平台 Botpress Academy，以及豐富的YouTube 頻道。我們的 Discord 社群有超過 20,000 名機器人開發者，隨時提供你所需的協助。

立即開始打造，完全免費。

常見問題

1. 如何評估為我的企業打造自訂 LLM 的投資報酬率？

評估自訂 LLM 投資報酬率時，請比較總成本（如基礎設施、開發人力、微調與託管）與可量化的效益（如人力成本降低、轉換率提升）。

2. 應追蹤哪些 KPI 來衡量自訂 LLM 的成效？

你應追蹤的 KPI 包括回應準確率（精確率/召回率或任務完成率）、延遲（平均回應時間）、用戶滿意度（CSAT/NPS）、自助解決率或問題解決率，以及每次互動成本。這些指標能反映模型的技術表現及其對業務成果的影響。

3. 如何估算自訂 LLM 解決方案的長期維護成本？

估算自訂 LLM 長期維護成本時，請納入基礎設施（雲端運算、儲存）、工程維護、再訓練或微調頻率、監控工具，以及因應法規變動的調整。如果你的業務資料變動頻繁，未來再訓練與驗證的成本也會相對提高。

4. 如何針對我的產業或領域對不同 LLM 進行基準測試？

你可以用具代表性的領域專屬提示來測試不同 LLM，並比較其在準確性、清晰度、語氣和任務相關性上的表現。可使用內部資料集，或依產業選擇開源基準（如金融領域的 FinancialQA 或醫療領域的 MedQA）。

5. 如果我要處理用戶資料，自訂 LLM 應符合哪些合規標準？

如果你要處理用戶資料，自訂 LLM 應符合 GDPR（歐盟資料隱私）、SOC 2 Type II（營運安全）及 HIPAA（醫療資料）等標準。LLM 服務商應提供角色權限控管、資料傳輸與儲存加密、稽核日誌，以及明確的資料保存與刪除政策。