端侧AI（On-Device AI 或 Edge AI）是指将 AI 模型部署在本地设备（智能手机、笔记本电脑、智能音箱、车载系统等）上直接运行，而非通过云端 API 调用。
核心驱动因素
- 延迟：本地推理无网络延迟，适合语音助手、实时翻译等场景
- 隐私：数据不出设备，敏感信息在本地处理
- 离线可用：飞机上、地铁里照样用 AI
- 成本：无需为每次查询付费 API，大规模部署成本更低
2025-2026 关键进展
- Apple Intelligence：iPhone/iPad/Mac 内置本地模型
- 高通骁龙 8 Elite / X Elite：集成 Hexagon NPU，支持 70 亿参数模型本地运行
- 微软 Copilot+ PC：配备 NPU（40+ TOPS），本地运行 Phi-Silica 模型
- Google Gemini Nano：在 Pixel 手机上本地运行
技术基础
GGUF/ONNX 格式、NPU 芯片、模型量化。
局限
本地算力有限，超大规模模型仍需云端；电池续航也是约束因素。