📌 多模態 AI 為何備受關注
Gartner 預估 2027 年將有 40% 的生成式 AI 解決方案具備多模態能力，相較於 2023 年僅 1%，成長速度驚人。
企業應用實例：
① 醫療結合病歷與影像協助判斷病灶
② 零售導入圖片搜尋強化推薦引擎
③ 製造透過視覺＋感測資料即時品管
④ 客服整合截圖與提問提升回應效率
⚙️ 三大導入挑戰
① GPU 資源需求高
② 資料格式與標註複雜
③ 分散式訓練管理困難
🛠 Google Cloud × Axolotl 聯手解決挑戰
① 提供高效能 GPU 與自動化部署平台
② 使用 YAML 配置簡化 QLoRA 訓練流程
③ 支援開源模型與最佳實作方式，加速進入生產環境
🔧 多模態訓練五個關鍵步驟
① 選擇模型
② 整理資料為影像＋文字對應格式
③ 設定微調參數與訓練策略
④ 利用 GKE Autopilot 自動部署訓練環境
⑤ 微調完成後導出模型並部署評估
🧪 實作摘要：Gemma 3 微調 SIIM-ISIC 黑色素瘤資料集
資料準備
① 利用 Storage Transfer Service 將資料搬入 Cloud Storage
② 轉換為 JSON 格式，結合圖片與文字訊息
訓練流程
① 使用 GKE Autopilot 自動配置 GPU 訓練環境
② 建立 ConfigMap、Secret 與 Job 進行模型訓練
③ 透過 TensorBoard 即時監控訓練指標
模型匯出與評估
① 將模型從 PVC 匯出至 Cloud Storage
② 在 Notebook 環境測試模型準確度與混淆矩陣
📊 模型效能差異概覽
① 原始模型準確率僅 0.028，幾乎無法辨別良性病灶
② 微調後模型準確率提升至 0.559，誤判數量大幅下降
③ MedGemma 更達 0.893，表現最佳
④ 原始模型過度預測為惡性，特異性極低
⑤ 微調模型讓診斷結果更平衡，實用性更高
💡 重點結論
① 微調有效降低誤判與過度診斷問題
② MedGemma 雖具備高準確率，仍存在特例誤判
③ 領域資料與任務導向微調仍是必要步驟
④ 整合雲端資源與低門檻訓練工具能加速落地
🔗 原始連結：https://cloud.google.com/blog/topics/developers-practitioners/building-a-production-multimodal-fine-tuning-pipeline
