P1 · 應會
資料
資料湖與資料倉儲 (Data Lake and Data Warehouse)
是什麼
資料湖(Data Lake)以原始格式保存各種結構與非結構化資料,讀取時才定義結構;資料倉儲(Data Warehouse)保存清理整合後的結構化資料,支援高效查詢與報表。
解決什麼問題
依資料型態與用途分工存放:原始影像、文本進資料湖供訓練,整理後的業務資料進倉儲供分析。
考場 Trigger
- 原始非結構化資料集中存放
- 清理後的結構化資料高效查詢
- 讀取時才定義結構
- 多模態訓練資料
容易搞混
結構化、半結構化與非結構化資料分散式資料處理ETL 資料流程
中級深度
能依資料型態判斷放資料湖或倉儲,並說出大規模訓練以資料湖加 Spark 或 Ray 預處理的架構。