fabric-lakehouse

何時使用此技能

當您需要以下情況時，請使用此技能：

• 產生包含 Fabric Lakehouse 定義與功能說明的文件或解釋。
• 運用最佳做法設計、建置和最佳化 Lakehouse 解決方案。
• 了解 Microsoft Fabric 中 Lakehouse 的核心概念與元件。
• 學習如何在 Lakehouse 中管理表格與非表格資料。

Fabric Lakehouse

核心概念

什麼是 Lakehouse？

Microsoft Fabric 中的 Lakehouse 是一個項目，為使用者提供儲存表格資料（例如資料表）和非表格資料（例如檔案）的地方。它結合了資料湖的靈活性與資料倉儲的管理能力。它提供：

• OneLake 中的統一儲存，適用於結構化和非結構化資料
• Delta Lake 格式，支援 ACID 交易、版本控制和時間旅行
• SQL 分析端點，用於 T-SQL 查詢
• 語意模型，用於 Power BI 整合
• 支援其他表格格式，如 CSV、Parquet
• 支援任何檔案格式
• 表格最佳化和資料管理工具

關鍵元件

• Delta 資料表：具有 ACID 合規性和結構描述強制執行的受控資料表
• 檔案：Files 區段中的非結構化/半結構化資料
• SQL 端點：自動產生的唯讀 SQL 介面，用於查詢
• 捷徑：指向外部/內部資料的虛擬連結，無需複製
• Fabric 具體化檢視：預先計算的資料表，可提供快速查詢效能

Lakehouse 中的表格資料

表格資料以資料表的形式儲存在 "Tables" 資料夾下。Lakehouse 中資料表的主要格式是 Delta。Lakehouse 可以將表格資料儲存為其他格式，例如 CSV 或 Parquet，但這些格式僅適用於 Spark 查詢。
資料表可以是內部資料表（資料儲存在 "Tables" 資料夾下），也可以是外部資料表（僅在 "Tables" 資料夾下儲存資料表的參考，但資料本身儲存在參考的位置）。資料表透過捷徑進行參考，捷徑可以是內部捷徑（指向 Fabric 中的另一個位置）或外部捷徑（指向儲存在 Fabric 外部的資料）。

Lakehouse 中資料表的結構描述

建立 Lakehouse 時，使用者可以選擇啟用結構描述。結構描述用於組織 Lakehouse 資料表。結構描述實作為 "Tables" 資料夾下的子資料夾，並將資料表儲存在這些資料夾內。預設結構描述為 "dbo"，且無法刪除或重新命名。所有其他結構描述都是選用的，可以建立、重新命名或刪除。使用者可以使用結構描述捷徑參考另一個 Lakehouse 中的結構描述，從而透過單一捷徑參考目標結構描述中的所有資料表。

Lakehouse 中的檔案

檔案儲存在 "Files" 資料夾下。使用者可以建立資料夾和子資料夾來組織檔案。任何檔案格式都可以儲存在 Lakehouse 中。

Fabric 具體化檢視

一組預先計算的資料表，會根據排程自動更新。它們為複雜的彙總和聯結提供快速的查詢效能。具體化檢視使用 PySpark 或 Spark SQL 定義，並儲存在關聯的 Notebook 中。

Spark 檢視

由 SQL 查詢定義的邏輯資料表。它們不儲存資料，但提供用於查詢的虛擬層。檢視使用 Spark SQL 定義，並儲存在 Lakehouse 中資料表旁邊。

安全性

項目存取或控制平面安全性

使用者可以擁有工作區角色（系統管理員、成員、參與者、檢視者），這些角色提供對 Lakehouse 及其內容的不同存取層級。使用者也可以使用 Lakehouse 的共用功能來取得存取權限。

資料存取或 OneLake 安全性

對於資料存取，請使用 OneLake 安全性模型，該模型基於 Microsoft Entra ID（先前為 Azure Active Directory）和角色型存取控制 (RBAC)。Lakehouse 資料儲存在 OneLake 中，因此資料的存取是透過 OneLake 權限來控制。除了物件層級的權限之外，Lakehouse 還支援資料表的資料行層級和資料列層級安全性，允許精細控制誰可以檢視資料表中的特定資料行或資料列。

Lakehouse 捷徑

捷徑建立指向資料的虛擬連結，無需複製：

捷徑類型

• 內部捷徑：連結到其他 Fabric Lakehouse/資料表，跨工作區資料共用
• ADLS Gen2：連結到 Azure 中的 ADLS Gen2 容器
• Amazon S3：AWS S3 儲存貯體，跨雲端資料存取
• Dataverse：Microsoft Dataverse，商務應用程式資料
• Google Cloud Storage：GCS 儲存貯體，跨雲端資料存取

效能最佳化

V-Order 最佳化

為了在使用語意模型時加快資料讀取速度，請在 Delta 資料表上啟用 V-Order 最佳化。這會以一種改善常見存取模式查詢效能的方式預先排序資料。

資料表最佳化

資料表也可以使用 OPTIMIZE 命令進行最佳化，該命令將小型檔案壓縮成較大的檔案，並且可以套用 Z-ordering 來改善特定資料行的查詢效能。定期最佳化有助於在資料隨著時間被擷取和更新時維持效能。Vacuum 命令可用於清理舊檔案並釋放儲存空間，特別是在更新和刪除之後。

沿襲

Lakehouse 項目支援沿襲，允許使用者追蹤資料的來源和轉換。Lakehouse 中的資料表和檔案會自動擷取沿襲資訊，顯示資料如何從來源流向目的地。這有助於除錯、稽核和了解資料相依性。

PySpark 程式碼範例

詳細資訊請參閱 PySpark 程式碼。

將資料匯入 Lakehouse

詳細資訊請參閱 取得資料。