在 Google Cloud 中編排數據工作負載

雲寶寶報你知!

Google Cloud Platform 有許多工具可以協助在雲中編排工作流,在編排數據驅動工作負載時,Cloud Composer 是不錯的選擇。 Cloud Composer是Google Cloud完全託管的編排工具,用於創作、安排和監控工作流;且它建立在流行且不斷增長的開源Apache Airflow項目之上。

Composer 可以支持各種不同的用例,但大多數用戶是數據工程師,在構建工作流來編排數據管道。Composer 通過創建和維護 Airflow 環境,讓您的 DAG 啟動和運行所需的基礎架構,將工程師的 Airflow 體驗提升到一個層次。
除了能夠自動化並將重複性任務委派給 Composer 之外,也不必專注於基礎架構管理,這也意味著數據工程師可以騰出時間專注於實際構建數據管道和工作流。

原文連結:https://lihi1.com/ggE2F

#CloudComposer #GoogleCloud #環境維護 #數據工程師