目標

• 類別: Game-Based Learning
• 課名: AWS Card Clash – an Architecture Design Game
• 關卡名稱(遊玩主題):CardClash_GenerativeAI_第十三關_翻譯中的偏見緩解

在這一關中，玩家將學習如何使用Amazon SageMaker微調大型語言模型（LLM），以減少性別偏誤並提升包容性，搭配API Gateway、Lambda等服務，建立一套可提供具包容性的翻譯應用服務的Web架構。

第十三關的架構圖雛形

架構應用場景

在這種架構中，對預先訓練的大型語言模型 (LLM) 進行效能和性別偏見評估，並進行微調以實現包容性。

卡牌功能說明

Service Cards:

• Amazon API Gateway

介紹:一種全受管的服務，可讓開發人員輕鬆地建立、發佈、維護、監控和保護任何規模的 API。

功能:透過將應用程式安全地連接到後端服務來簡化 API 管理，負責處理有關接受和處理多達數十萬個並行 API 呼叫的所有工作，包括流量管理、CORS 支援、授權和存取控制、調節、監控和 API 版本管理。

• Amazon CloudFront

介紹:Amazon CloudFront 是內容交付網路 (CDN)，可加速向最終使用者交付靜態和動態Web內容。

功能:運用可將 AWS 邊緣節點連線至 AWS 區域的 AWS 全球網路來交付內容。沿 AWS 全球網路移動網路流量可減少延遲，並改善應用程式的安全狀況。透過在全球多個邊緣節點快取檔案副本，來提高 Web 應用程式的可靠性和可用性。

• Foundation model

介紹:基礎模型 (FM) 是基於大量資料集訓練的大型深度學習神經網路，這些神經網路改變了資料科學家處理機器學習 (ML) 的方式。資料科學家無需從頭開始開發人工智慧 (AI)，而是使用基礎模型作為起點來開發機器學習模型，從而更快速、更經濟高效地為新應用程式提供支援。

功能:儘管基礎模型已經過預訓練，但其可以在推理過程期間持續從資料輸入或提示中學習。這意味著可以透過精心策劃的提示來形成全面的輸出。FM可以執行的任務包括語言處理、視覺理解、程式碼產生和以人為本的參與。

• AWS lambda

介紹:一種運算服務，可執行程式碼以回應事件並自動管理運算資源，使其成為將想法轉化為現代生產無伺服器應用程式最快捷的方式。

功能:無需配置即可運行程式碼，可根據事件自動擴展。

• Amazon S3

介紹:一種物件儲存服務，提供領先業界的可擴展性、資料可用性、安全性及效能。各種規模和各業界的數百萬家客戶可以存放、管理、分析和保護幾乎任何使用案例的任何資料量，如資料湖、雲端原生應用程式和行動應用程式。

功能:可透過 API 存取的高效、可擴充且安全的物件存儲。

• Amazon SageMaker

介紹:Amazon SageMaker 結合廣泛採用的AWS機器學習 (ML) 和分析功能，提供分析和AI的整合式體驗，並統一存取您的所有資料。這些服務仍可透過AWS管理主控台作為獨立功能提供，從而根據使用案例提供靈活性。我們將於 2025 年透過更多服務來增強 SageMaker，以統一分析和 AI 方面的體驗。

功能:SageMaker 整合了 SageMaker Unified Studio (預覽版)、SageMaker 資料與 AI 管控以及 SageMaker Lakehouse 等一系列全面的 AWS AI 和分析服務。資料科學家得以快速、輕鬆地建立訓練模型，可以直接部署到生產就緒託管環境。

Security Cards:

• IAM

介紹:安全地管理身分以及對 AWS 服務和資源的存取。

功能:在關卡中可消耗一點體力打出，保護指定的我方服務卡不被對手佔領，全卡牌皆可使用。

• AWS WAF

介紹:借助 AWS WAF，使用者可以建立安全規則來控制機器人流量，並阻止常見的攻擊模式，如 SQL 隱碼攻擊或跨網站指令碼 (XSS)。

功能:在關卡中可消耗一點體力打出，保護指定的我方服務卡不被對手佔領，此關卡只有Amazon API Gateway和Amazon CloudFront可使用。

Others: 

• AWS Cloud Formation

介紹:一項可協助使用者建模和設定 AWS 資源的服務，以便使用者可以花更少的時間管理這些資源，而花更多的時間專注於在 AWS 中執行的應用程式

功能:使用者建立一個範本來描述所需的所有 AWS 資源（如 Amazon EC2 執行個體或 Amazon RDS DB 執行個體），CloudFormation 會負責為使用者調配和設定這些資源。關卡中可以加三分。

• AWS CLI

介紹:透過命令列高效管理AWS資源。

功能:可在關卡中獲得兩點。

• AWS Management Console

介紹:透過使用者友善的 Web 介面進行高效率的 AWS 管理。

功能:可在關卡中獲得一點。

• Amazon Route 53

介紹:一種可用性高、可擴展性強的網域名稱系統 (DNS) Web服務。

功能:透過可擴展的註冊和 DNS 服務高效管理域名，在本關卡無影響。

• Amazon ECS

介紹:一項完全託管的服務，用於使用 AWS 最佳實踐和整合來部署、管理和擴展容器化應用程式。

功能:只需描述您的應用程式和所需資源，Amazon ECS 就會跨彈性運算選項啟動、監控和擴展您的應用程式，並自動整合應用程式所需的其他支援 AWS 服務。在本關卡無影響。

最終架構圖樣貌

結論

在本關中，玩家成功部署一個Web應用程式，透過大型語言模型（LLM）進行翻譯，並針對性別用語進行偏誤修正，提升翻譯內容的公平性與包容性。

使用者透過Web App發送翻譯請求，由 API Gateway接收後觸發Lambda，並進一步呼叫經微調後的模型端點。這個模型是透過Amazon SageMaker對大型語言模型進行再訓練與優化，強化其在性別用語上的中性表達能力。訓練完成的模型與產出結果則儲存在Amazon S3中，方便後續應用或版本管理。整體流程以CloudFront加速網頁內容傳遞，並透過IAM與AWS WAF保護應用的存取權限與安全性。此架構展現出 AI 模型偏誤校正與完整部署流程，幫助玩家實作更加公平且可信任的翻譯應用服務。

相關參考資料

• 架構:包容性創新：利用 Amazon SageMaker 破解偏見
• Service Cards:
  • Amazon API Gateway:接收來自Web應用程式的翻譯請求，並觸發後端邏輯處理（Lambda）。
  • Amazon CloudFront:供內容傳遞加速（CDN），協助快速載入靜態網頁，提升使用者體驗。
  • Foundation model:使用大型語言模型（LLM）作為翻譯的基礎模型。
  • AWS lambda:處理API請求，負責呼叫微調模型端點進行翻譯處理。
  • Amazon S3:儲存模型訓練過程中的產出，作為版本控制與部署來源。
  • Amazon SageMaker:負責模型微調與訓練，將基礎模型優化為性別中立、具包容性的翻譯模型。
• Security Cards:
  • IAM:用於設定角色權限，確保只有授權用戶能觸發模型推論或修改端點設定。
  • AWS WAF:Web應用防火牆，用來保護API與Web App免於惡意攻擊與不當請求。
• Others:
  • AWS Cloud Formation:基礎架構即程式碼服務，可用來一次性建立完整雲端架構。
  • AWS CLI:指令列工具，協助用戶快速操作與查詢AWS資源。
  • AWS Management Console:圖形化操作介面，讓使用者可以用網頁方式建立並管理AWS資源。
  • Amazon Route 53:提供網域名稱系統（DNS）服務，用於導引網頁或應用流量。
  • Amazon ECS:支援容器化應用部署與自動擴展，適用於模型推論與高併發任務處理。