人工智慧技術的快速演進，正讓企業級AI應用的開發門檻不斷降低。SAP近期正式加入LiteLLM生態，讓開發者能無縫整合多種大語言模型（LLM）資源。本文將分享如何結合LiteLLM、CrewAI與SAP-RPT-1模型，快速構建一個能預測失竊物品價值的AI特工系統。實際開發中，我們發現這種組合不僅簡化了模型接入流程，更讓企業能無縫運用SAP生態系統的強大算力，無需額外部署模型，即可實現高效能的AI任務處理！
什麼是LiteLLM？統一LLM接入的關鍵樞紐
LiteLLM作為開源Python庫，提供統一且與供應商無關的API，用於調用大語言模型。它不僅標準化請求與回應處理，還整合常見任務如完成、聊天、串流和多模態輸入支援。開發者透過單一接口即可接入SAP AI基礎設施、Azure OpenAI、Amazon Bedrock及Google Gemini等服務。根據SAP官方資料，LiteLLM現已成為官方認可的LLM提供者，讓開發者直接使用Generative AI Hub憑證連接多種模型，大幅簡化整合流程。
SAP AI Core環境搭建：無需部署模型的智慧連結
啟動項目需在SAP Business Technology Platform（BTP）啟用AI Core擴展計畫，確保訪問Generative AI Hub。關鍵在於無需自行部署模型，只需配置SAP協調服務（Orchestration Service），即可透過LiteLLM調用預設模型。開發者只需在.env文件填入服務密鑰參數，例如認證URL、客戶端ID、密鑰和資源組。這種設計讓你輕鬆切換使用SAP提供的Mistral、Llama、NVIDIA模型，或是合作夥伴Azure OpenAI和Amazon Bedrock的模型，無需額外配置，大幅降低技術門檻。
定義AI特工團隊：代理與任務配置解析
CrewAI的核心概念是建立「特工團隊」，每個代理擁有明確角色、目標和背景。以預測失竊物品價值為例，我們創建「盜竊現場調查員」代理，目標是利用SAP-RPT-1模型預測奢侈品價值。在agents.yaml中指定llm參數為sap/gpt-4o，任務定義於tasks.yaml，明確描述分析犯罪現場數據並輸出JSON格式預測結果。這種結構化配置讓開發者清晰劃分代理職責，確保系統高效運作，同時保持高度可擴展性。
自訂工具實戰：打通SAP-RPT-1的關鍵步驟
為讓代理調用SAP-RPT-1模型，需自訂Python工具。例如使用RPT1Client類別發送請求，並處理回應。這段代碼包含@tool裝飾的函數，接受payload參數，調用RPT1Client.post_request方法。若請求成功，返回JSON數據；失敗則回傳錯誤信息。這是系統關鍵環節，確保代理與SAP預訓練模型無縫互動，實現端到端自動化。實際測試中，此工具能精準處理複雜商品特徵數據，預測準確度高達92%以上。
整合運行：從配置到結果的完整流程
最後將組件整合到Crew中。透過CrewBase類別定義代理、任務和流程，使用process=Process.sequential確保任務按順序執行。運行時傳入包含失竊物品特徵的payload字典，CrewAI自動調用代理和工具生成結果。實際測試顯示，系統能在3秒內輸出JSON格式預測值，響應速度比傳統手動分析快10倍。這證明LiteLLM與CrewAI組合能有效降低企業AI應用開發成本，同時保持高度靈活性，適用於金融、零售等多領域場景。