在Google Cloud Blog的文章中，介紹了一種使用Vertex Gen AI Evaluation Service來提升大型語言模型（LLM）質量和可解釋性的新工作流程。該工作流程包括生成多樣化的回應，並使用Vertex Gen AI Evaluation Service自動選擇最佳回應。這項服務還提供了質量指標和選擇回應的解釋。該方法不僅提高了LLM輸出的可靠性，還通過提供決策過程的洞察力來增強了信任和透明度。
LLM 面臨的挑戰：
開發者經常遇到 LLM 輸出隨機性和可能產生不正確信息（稱為「幻覺」）的問題，這對需要一致性和準確性的任務構成挑戰
新工作流程介紹：
文章介紹了一個新工作流程，透過生成多樣化回應，並利用 Vertex Gen AI Evaluation 服務自動選擇最佳回應，提供質量指標和解釋
工作流程步驟：
生成多樣化回應：調整 LLM 的「溫度」設置，創造多種回應變化，提高獲得高質量答案的可能性
選擇最佳回應：使用 Vertex Gen AI Evaluation 服務進行頭對頭比較，以確定最符合用戶意圖的回應
評估質量：對最佳回應進行多維度評估（如準確性、幫助性），並提供質量分數和解釋
應用實例：
文章提供了一個金融機構利用這個流程來生成和評估客戶對話摘要的實例，展示如何選擇最有效的摘要
主要優勢：
提升 LLM 輸出的可靠性
增加決策過程的洞察力，促進信任與透明度
入門指南：
鼓勵讀者透過示例筆記本和服務文檔，學習如何將此流程應用於他們的具體用例
