bigquery-basics

BigQuery 基礎

BigQuery 是一個無伺服器、AI 就緒的資料平台，可使用 SQL 和 Python 對大型資料集進行高速分析。其分離式架構將運算與儲存分開，讓兩者能獨立擴展，同時提供內建的機器學習、地理空間分析和商業智慧功能。

設定與基本使用

1. 啟用 BigQuery API：

   gcloud services enable bigquery.googleapis.com --quiet
   

2. 建立資料集：

   bq mk --dataset --location=US my_dataset
   

3. 建立資料表：

   建立一個名為 schema.json 的檔案，內容為您的資料表結構：

   [
     {
       "name": "name",
       "type": "STRING",
       "mode": "REQUIRED"
     },
     {
       "name": "post_abbr",
       "type": "STRING",
       "mode": "NULLABLE"
     }
   ]
   

   然後使用 bq 工具建立資料表：

   bq mk --table my_dataset.mytable schema.json
   

4. 執行查詢：

   bq query --use_legacy_sql=false \
   'SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` \
   WHERE state = "TX" LIMIT 10'
   

參考目錄

• 核心概念：儲存類型、分析工作流程和 BigQuery Studio 功能。

• 變更歷史：使用 APPENDS 和 CHANGES 追蹤和查詢資料表的增量變更。

• CLI 使用：使用 bq 命令列工具管理資料和工作的重要操作。

• 用戶端程式庫：使用 Python、Java、Node.js 和 Go 的 Google Cloud 用戶端程式庫。

• MCP 使用：使用 BigQuery 遠端 MCP 伺服器和 Gemini CLI 擴充功能。

• 基礎架構即程式碼：用於資料集、資料表和預留的 Terraform 範例。

• IAM 與安全性：角色、權限和資料治理最佳實務。

如果您需要這些參考資料中未提供的產品資訊，請使用 Developer Knowledge MCP 伺服器的 search_documents 工具。

相關技能

• BigQuery AI & ML 技能：
  SKILL.md 檔案，說明 BigQuery 的 AI 和 ML 功能（預測、異常偵測、文字生成）。