SKILL.md
readonlyread-only
name
airunway-aks-setup
description
在 AKS 上設定 AI Runway — 從裸叢集到執行模型。涵蓋叢集驗證、控制器安裝、GPU 評估、提供者設定及首次部署。適用時機：「設定 AI Runway」、「上線 AKS 叢集」、「安裝 AI Runway」、「airunway 設定」、「部署模型至 AKS」、「在 AKS 上進行 GPU 推論」、「在 AKS 上設定 KAITO」、「在 AKS 上執行 LLM」、「在 AKS 上使用 vLLM」、「在 AKS 上設定模型服務」、「AI Runway 控制器」。
AI Runway AKS 設定
此技能引導使用者從一個裸 Kubernetes 叢集到執行中的 AI 模型部署。除非使用者提供 skip-to-step N 以從特定階段繼續，否則請依序執行每個步驟。
成本提醒： GPU 節點池會產生顯著的運算費用（A100-80GB 每小時可能花費 3–5 美元以上）。在佈建 GPU 資源前，請確認使用者了解成本影響。
先決條件
此技能假設 AKS 叢集已存在。如果使用者沒有叢集，請先移交給 azure-kubernetes 技能來佈建一個（除非純 CPU 推論可接受，否則請包含 GPU 節點池），然後再回到此處。
快速參考
| 屬性 | 值 |
|---|---|
| 最佳用途 | 在 AKS 上進行端到端 AI Runway 上線 |
| CLI 工具 | kubectl、make、curl |
| MCP 工具 | 無 |
| 相關技能 | azure-kubernetes（叢集設定）、azure-diagnostics（故障排除） |
何時使用此技能
當使用者想要以下操作時，使用此技能：
- 在現有的 AKS 叢集上從頭設定 AI Runway
- 安裝 AI Runway 控制器和 CRD
- 評估 GPU 硬體相容性以進行模型部署
- 選擇並安裝推論提供者（KAITO、Dynamo、KubeRay）
- 透過 AI Runway 將第一個 AI 模型部署到 AKS
- 從特定步驟繼續部分完成的 AI Runway 設定
MCP 工具
此技能不使用任何 MCP 工具。所有叢集操作均直接透過 kubectl 和 make 執行。
規則
- 依序執行步驟 — 到達每個步驟時載入其參考文件
- 在每個步驟回報叢集狀態：✓ 正常、✗ 缺失/失敗
- 在任何安裝或部署動作前，要求使用者確認
- 如果某個步驟已完成，回報狀態並跳到下一個步驟
- 如果使用者提供
skip-to-step N，則從步驟 N 開始；假設先前的步驟已完成
步驟
| # | 步驟 | 參考文件 |
|---|---|---|
| 1 | 叢集驗證 — 上下文檢查、節點清單、GPU 偵測 | step-1-verify.md |
| 2 | 控制器安裝 — CRD + 控制器部署 | step-2-controller.md |
| 3 | GPU 評估 — 偵測 GPU 型號、標記 dtype/注意力限制 | step-3-gpu.md |
| 4 | 提供者設定 — 建議並安裝推論提供者 | step-4-provider.md |
| 5 | 首次部署 — 選擇模型、部署、確認 Ready | step-5-deploy.md |
| 6 | 總結 — 回顧、煙霧測試、後續步驟 | step-6-summary.md |
錯誤處理
| 錯誤 / 症狀 | 可能原因 | 補救措施 |
|---|---|---|
| 無 kubeconfig 上下文 | 未連線到叢集 | 執行 az aks get-credentials 或等效指令 |
| 控制器處於 CrashLoopBackOff | 設定或 RBAC 問題 | kubectl logs -n airunway-system -l control-plane=controller-manager --previous |
| 提供者未就緒 | 映像拉取或 RBAC 問題 | 針對提供者 Pod 執行 kubectl logs <pod-name> -n <namespace> |
| ModelDeployment 卡在 Pending | GPU 排程失敗或提供者未就緒 | 執行 kubectl describe modeldeployment <name> -n <namespace> 查看事件 |
推論時出現 bfloat16 錯誤 |
T4 或 V100 不支援 bfloat16 | 在服務引數中加入 --dtype float16 |
如需完整的錯誤處理和復原程序，請參閱 troubleshooting.md。
