CardClash_CloudPractitioner_第8關_數據串流和視覺化的架構

目標

  • 類別: Game-Based Learning
  • 課名: AWS Card Clash – an Architecture Design Game
  • 關卡名稱(遊玩主題): CardClash_CloudPractitioner_第8關_數據串流和視覺化的架構

在這一關中，玩家將設計並管理一個資料驅動的雲端串流與視覺化平台。

核心任務是使用 AWS 雲服務即時收集、處理、查詢與視覺化資料，幫助企業迅速取得洞察與決策依據。

完成本關卡後，玩家將深入理解資料串流與視覺化的流程，並學會如何串接 Amazon Kinesis、Glue、Athena 與 QuickSight 等服務，打造一套自動化且具延展性的資料分析解決方案，強化雲端系統的資料處理與可觀測能力。

第8關的架構圖雛形

架構應用場景

使用 Amazon Kinesis 擷取資料，AWS Glue 處理資料，及 Amazon Athena 查詢資料，並使用 Amazon QuickSight 將其視覺化，同時透過 IAM 和 Amazon CloudWatch 確保安全性和監控。這套架構具備即時性、自動化、可擴展與視覺化等特點，幫助企業快速反應客戶行為變化，並據以調整營運策略。

相關卡牌的功能說明

Service Cards:

Amazon Athena

  • 外觀:  
  • 簡介:
    • Amazon Athena 是一種互動式查詢服務，可協助你使用標準 SQL 直接在 Amazon Simple Storage Service (Amazon S3) 中分析資料。透過 AWS 管理主控台中的幾個動作，你可以將 Athena 指向儲存在 Amazon 中的資料。
  • 功能:
    • 一種無伺服器 SQL 查詢服務，適用於 Amazon S3 資料，提供可擴展、具成本效益的分析。
  • 更多資訊: Interactive SQL – Amazon Athena – AWS

Amazon Connect

  • 外觀:  

AWS Glue Data Catalog

  • 外觀:  
  • 簡介:
    • AWS Glue 資料目錄包含用作 AWS Glue 中擷取、轉換和載入 (ETL) 工作來源和目標的資料參考。要建立資料倉儲或資料湖，你必須對資料進行編目。AWS Glue 資料目錄是資料位置、結構描述和執行時期指標的索引。
  • 功能:
    • AWS Glue 資料目錄對於編目 ETL 工作中使用的資料至關重要，可作為資料位置、結構描述和指標的索引。
  • 更多資訊: Data discovery and cataloging in AWS Glue – AWS Glue

AWS Glue Crawler

  • 外觀:  
  • 簡介:
    • 你可以使用爬蟲器，將來自多個資料儲存區的表格填入 AWS Glue 資料目錄。這是大多數 AWS Glue 使用者的主要方法。爬蟲器可以在一次執行中爬取多個資料儲存區。完成後，爬蟲器會在資料目錄中建立或更新一個或多個表格。
  • 功能:
    • 使用爬蟲程式，將來自多個資料儲存區的表格填入 AWS Glue 資料目錄。
  • 更多資訊: Using crawlers to populate the Data Catalog – AWS Glue

Kinesis Data Firehose

  • 外觀:  
  • 簡介:
    • Amazon Kinesis Data Firehose 是一項完全受管的服務，用於將即時串流資料傳送到 Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、Amazon OpenSearch Serverless、Splunk，以及任何自訂 HTTP 端點或由支援的第三方服務提供商擁有的 HTTP 端點，包括 Datadog、Dynatrace、LogicMonitor、MongoDB、New Relic、Coralogix 和 Elastic。
  • 功能:
    • 將即時資料串流傳輸到不同的目的地，包括 Amazon S3、Amazon Redshift、OpenSearch、Splunk 和支援的第三方服務，例如 Datadog 和 New Relic。
  • 更多資訊: Streaming Data Pipeline – Amazon Firehose – AWS

Kinesis Data Streams

  • 外觀:  
  • 簡介:
    • Amazon Kinesis 資料串流 (Kinesis Data Streams) 用於即時收集和處理大量資料記錄串流。你可以建立資料處理應用程式，稱為 Kinesis 資料串流應用程式。一個典型的 Kinesis 資料串流應用程式會從資料串流中讀取資料記錄。這些應用程式可以使用 Kinesis Client Library，並且可以在 Amazon EC2 執行個體上執行。你可以將處理過的記錄傳送到儀表板，使用它們來產生警報、動態變更定價和廣告策略，或將資料傳送到各種其他 AWS 服務。
  • 功能:
    • 即時收集和處理大量資料記錄串流。
    • 讓每一筆來自用戶或裝置的資料立刻上雲，準備好馬上被處理。
  • 更多資訊: Real-Time Streaming Analytics – Amazon Kinesis Data Streams – AWS

Amazon QuickSight

  • 外觀:  
  • 簡介:
    • Amazon QuickSight 是一個雲端規模的商業智慧 (BI) 服務，你可以利用它隨時隨地向同事提供易於理解的洞察。QuickSight 連接到你在雲端中的資料，並將來自多個不同來源的資料合併到單一資料儀表板中。QuickSight 可以將 AWS 資料、第三方資料、大數據、試算表資料、SaaS 資料、B2B 資料等整合在一起。
  • 功能:
    • 一個雲端商業智慧 (BI) 服務，提供隨處可存取的洞察。
  • 更多資訊: Business Intelligence Tools – Amazon QuickSight – AWS 

Amazon S3

  • 外觀: 
  • 簡介:
    • 全名為 Amazon Simple Storage Service。
    • Amazon S3 就像是檔案的數位倉庫，想像一個巨大的儲存設施，你可以根據需求儲存或取回物件。AWS S3 用途廣泛，所以你可以託管靜態網站、儲存備份、為大型資料集建立儲存庫。它就像擁有一個持續擴展的儲存空間，可以從任何地方存取，使其成為無數應用程式和服務的基礎建構區塊。
  • 功能:
    • 透過 API 存取有效、可擴充且安全的物件儲存。
    • 以高耐久與高擴充性著稱的物件儲存服務，是備份長期保存或版本控管的理想選擇。
  • 更多資訊: 雲端物件儲存– Amazon S3

Security Cards:

IAM

  • 外觀:
  • 簡介:
    • 全名為 AWS identity and Access Management ，在雲端中擔任安全守衛，它像是一個警覺的門衛，在俱樂部門口只允許授權的訪客進入。
  • 功能:
    • 控制對 AWS 資源的存取，定義誰能執行特定操作以及他們可以與那些資源互動。擁有一個可自訂的安全策略，可強制執行規則、防止未經授權的存取。
  • 更多資訊: 存取管理– AWS Identity and Access Management (IAM)

Others:

AWS CLI

  • 外觀:
  • 簡介:
    • 像是使用者的雲端運算中央控制中心，提供一個可視化所有使用者雲端資源及工具的控制面板。
  • 功能:
    • 使用者友善的網頁介面整合了管理、監控雲端環境以及跟雲端環境互動的流程，能瀏覽、調整設定以及觀察和維護使用者雲端資源的健康度及效能。
  • 更多資訊: AWS CLI

AWS Management Console

  • 外觀: 
  • 簡介:
    • 像是使用者的雲端運算中央控制中心，提供一個可視化所有使用者雲端資源及工具的控制面板。
  • 功能:
    • 使用者友善的網頁介面整合了管理、監控雲端環境以及跟雲端環境互動的流程，能瀏覽、調整設定以及觀察和維護使用者雲端資源的健康度及效能。
  • 更多資訊: AWS 管理主控台

AWS Cloud Formation

  • 外觀:  
  • 簡介:
    • 使用者的虛擬架構師，使用者定義所需資源及其關係， Cloud Formation 會根據這些定義建立模板，並處理繁重的部署工作。
  • 功能:
    • 以結構化的方式引導雲端環境的創建與管理，用於規劃雲端基礎設施的布局。協調雲端資源的佈建及配置，確保一致性並減少手動工作。
  • 更多資訊:  佈建基礎設施即程式碼– AWS CloudFormation 

最終架構圖樣貌

結論

在本關卡中，玩家深入學習並掌握了多項 AWS 數據串流與視覺化服務的關鍵功能與應用場景。透過 Amazon Kinesis 進行即時資料擷取與串流，搭配 AWS Glue 與 Athena 的資料轉換與查詢機制，再利用 Amazon QuickSight 視覺化輸出結果，玩家完整構建了一個端對端的資料分析平台。

本關卡強調資料的即時性與可觀測性，為未來進階的資料湖、機器學習與預測分析場景奠定堅實基礎。透過這次挑戰，玩家已能設計出具備商業價值的資料平台架構，成為資料驅動決策的推手。

相關參考資料

最近貼文

文章分類

追蹤我們

Facebook-f Youtube Line

如果想知道更多雲端新知，加入我們LINE@官方號

感謝您的填寫，將有專人與您聯繫