Laya NEW

Laya 是什么？

Laya 是由 Convai Innovations 开源的多语言「系统一」快速决策引擎：不做文本生成，而是用一次前向传播对文本直接输出结构化决策——分类、评分或真假判断，GPU 上单次约 33 毫秒。因为不逐字生成，它没有解析失败也没有幻觉，概率经过严格评分规则强化学习校准，可以放心做阈值与人工升级。项目以 Apache 2.0 开源，内置路由器在英文、多语言与类型化决策三个检查点间自动切换，覆盖 100 多种语言，可无缝嵌入 LangChain、LlamaIndex、CrewAI 与 MCP 工作流，是给大模型流水线配的「毫秒级直觉层」。

核心功能

• 三种决策原语：choice 输出选项概率分布，score 输出有序量表等级与期望分，noul 输出校准后的为真概率，覆盖路由、分级、风控等场景。
• 三检查点智能路由：421M 英文、322M 多语言、421M 类型化决策三个检查点，路由器亚毫秒级识别语言自动分发。
• 批量与长文：predict_batch 共享前向把单条成本压到毫秒级，predict_long 以滑窗扫整份文档，decide() 直接吃 JSON Schema。
• 校准置信度：基于 RLCD 训练，概率有统计意义，可设阈值把低置信请求升级人工。
• 预测钩子：审计日志、PII 脱敏、缓存、指标与置信度门控可在管道里插拔。
• 丰富集成：LangChain/LangGraph、LlamaIndex、CrewAI、MCP 服务器、ONNX Runtime、HTTP 服务与 TypeScript 客户端齐备。

版本/套餐对比

Laya 完全免费开源（Apache 2.0），模型权重放在 Hugging Face，支持 pip 安装并按需选装 serve、mcp、langchain、onnx、fast 等扩展，另有 Kaggle 微调 notebook 供定制。运行形态上的选择主要在硬件：CPU 可跑但慢，GPU 上有 TileLang 融合内核与 CUDA Graph 快速路径；想省运维可用 laya-serve 起本地 HTTP 服务或直接 Docker Compose 自托管。与同类「快速决策」产品相比，它的差异化是开源可自部署、概率可校准、基准公开可复现，官方还诚实列出局限：基座零样本接近随机、高基数选项受 token 预算限制，选型前应按自己的数据实测。

值不值得用？

如果你的系统里有大量「分类、打分、判断」型请求正走着昂贵的大模型，Laya 提供了一条数量级降本的路：毫秒级延迟、无幻觉、可自托管、按 Apache 2.0 商用。它的基准数据与局限说明写得罕见地坦诚，微调后的类型化决策检查点表现也有公开对比，可信度较高。适用边界同样明确：它只做决策不写内容，选项特别多的分类（几十上百个）与细粒度序数评分是弱项，需要微调才能用好。把对话与生成留给大模型、把海量判定卸载给 Laya，是最划算的用法。

从工程落地的角度，Laya 的价值还在于它把「置信度」做成了可运营的资产：因为概率经过严格评分规则校准，团队可以直接按业务风险设置阈值，把低置信请求转人工或转大模型复核，而不是简单地全盘接受或全盘拒绝。这种分层处理在风控与审核场景里尤其重要。接入前建议准备一份覆盖真实业务分布的测试集，重点关注两类边界：一是训练语言之外的长尾语种表现，二是类别数超过五十的高基数任务，这两处是官方文档明示的能力边界，实测数据比任何宣传都可靠。

使用建议

• 先用 pip 装好跑通自己的真实样本，对比现有大模型链路的准确率与延迟。
• 非拉丁语系请求交给路由器自动分发，别手动硬选英文检查点。
• 高风险场景设置信度阈值，低置信自动转人工或转大模型复核。
• 需要私有标签体系时用官方 notebook 微调，再做一轮基准验证。

适合谁用？

• 推荐：内容审核、工单路由、风控初筛等高吞吐判定场景的工程团队，想给 Agent 加低成本直觉层的开发者。
• 可考虑：多语言国际化产品，可先实测多语言检查点覆盖度。
• 不推荐：需要生成文本、开放式推理或超高基数分类的任务。