bigquery-basics

BigQuery 基础

BigQuery 是一个无服务器、AI 就绪的数据平台，支持使用 SQL 和 Python 对大型数据集进行高速分析。其解耦架构将计算和存储分离，允许它们独立扩展，同时提供内置的机器学习、地理空间分析和商业智能功能。

设置与基本用法

1. 启用 BigQuery API：

   gcloud services enable bigquery.googleapis.com --quiet
   

2. 创建数据集：

   bq mk --dataset --location=US my_dataset
   

3. 创建表：

   创建一个名为 schema.json 的文件，包含表模式：

   [
     {
       "name": "name",
       "type": "STRING",
       "mode": "REQUIRED"
     },
     {
       "name": "post_abbr",
       "type": "STRING",
       "mode": "NULLABLE"
     }
   ]
   

   然后使用 bq 工具创建表：

   bq mk --table my_dataset.mytable schema.json
   

4. 运行查询：

   bq query --use_legacy_sql=false \
   'SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` \
   WHERE state = "TX" LIMIT 10'
   

参考目录

• 核心概念：存储类型、分析工作流和 BigQuery Studio 功能。

• 变更历史：使用 APPENDS 和 CHANGES 跟踪和查询增量表变更。

• CLI 用法：管理数据和作业的基本 bq 命令行工具操作。

• 客户端库：使用 Python、Java、Node.js 和 Go 的 Google Cloud 客户端库。

• MCP 用法：使用 BigQuery 远程 MCP 服务器和 Gemini CLI 扩展。

• 基础设施即代码：数据集、表和预留的 Terraform 示例。

• IAM 与安全：角色、权限和数据治理最佳实践。

如果您需要这些参考中未包含的产品信息，请使用 Developer Knowledge MCP 服务器的 search_documents 工具。

相关技能

• BigQuery AI 与 ML 技能：
  BigQuery AI 和 ML 功能（预测、异常检测、文本生成）的 SKILL.md 文件。