🪟

上下文窗口 (Context Window)

Context Window
基础概念
模型能力基础

上下文窗口是AI模型一次性能看到并处理的文本量上限。

发展:2022 GPT-3.5 4K → 2023 GPT-4 Turbo 128K → 2023 Claude 2 200K → 2024 Gemini 1.5 Pro 1M-2M → 2026 Gemini 2.5 1M+。

为什么重要:处理整本书/电影剧本、超长对话历史(不遗忘)、大规模代码库分析、复杂RAG系统多文档综合分析。

技术挑战:Attention的O(n²)复杂度(长度翻倍计算量翻4倍)、KV Cache显存线性增长、Lost in the Middle现象(模型倾向关注开头和结尾)。

解决方案:FlashAttention、Ring Attention(分布式)、RoPE(旋转位置编码)。

2026年,100K上下文已成为AI模型的标准配置。长上下文是行业军备竞赛方向之一。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。