🚀 開源模型也能一鍵部署到 Vertex AI!

Qwen 3 Model card

從選擇模型到微調、部署端點,全流程太複雜?Google Cloud 教你用 Qwen3 在 Vertex AI 上輕鬆搞定,打造專屬生成式 AI。

🔍 模型選擇與快速部署
① 在 Model Garden 挑選超過 200 款開源模型(Qwen、Gemma、Llama 等)
② 一鍵部署預設推論端點,支援 vLLM、SGLang 等高效框架
③ 搭配 GenAI 評估服務,快速建立基準效能

🛠 開始微調你的模型
① 從 GCS、BigQuery 讀取訓練資料,支援 Pipelines 自動前處理
② 使用內建 Axolotl Notebook,支援 QLoRA、FSDP 等技術微調
③ 部署 Vertex AI Training Job,使用 H100、Spot VM 等彈性資源

📈 評估並部署至正式環境
① 利用 GenAI Evaluation SDK 做 side-by-side 評測
② 自動化比較 base 與 fine-tuned 版本的生成品質
③ 最終部署為 Production Endpoint,享快速啟動、彈性擴展、GPU 成本控管

🔗 原始連結:https://cloud.google.com/blog/products/ai-machine-learning/take-an-open-model-from-discovery-to-endpoint-on-vertex-ai

如果想知道更多雲端新知,加入我們LINE@官方號

感謝您的填寫,將有專人與您聯繫