Mac 本地跑决策，数据不出机。Laya 决策引擎的 Apple Silicon 原生移植：基于 MLX 运行时零依赖 PyTorch，权重一次下载后完全离线，M3 Max 实测多语言检查点单条决策约 7 毫秒、批量每秒数百条，三检查点与上游答案全量对齐，Apache 2.0 开源，适合端侧分类、风控与路由等隐私优先场景。 定价：免费开源（Apache 2.0）。编辑评分：⭐ 4.5。
Laya MLX 是什么？
Laya MLX 是 Laya 快速决策引擎在 Apple Silicon 上的原生移植版：基于 MLX 运行时重写推理层，不依赖 PyTorch 与 Transformers，权重一次下载后完全离线运行，M3 Max 上单条类型化决策最快约 7 毫秒。它保留上游的三种决策原语——分类、评分、真假判断——以及提示格式、校准与输出结构，由社区开发者独立维护并以 Apache 2.0 开源，权重转换件发布在 Hugging Face。对要在 Mac 本地做分类、风控、路由等端侧判定、又不想把数据送上云的用户，这是一个零云依赖的选项。
核心功能
- MLX 原生推理：双向前向一次输出决策概率，无 PyTorch、无云端 API，Apple Silicon 上原生跑 FP16 权重。
- 三检查点全兼容：英文、多语言与类型化决策三个上游检查点均完成转换，内置语言路由自动分发请求。
- 毫秒级延迟：M3 Max 实测多语言检查点单条 P50 约 7.4 毫秒、英文约 13.4 毫秒，批量吞吐每秒数百条。
- 移植保真校验：三检查点共三百余道验证题与上游答案全量一致，温度校准做了钳制防止 logits 异常锐化。
- CLI 与 Python API：laya-mlx predict 命令行即用，Python 端支持 batch、compile、prompt 缓存等运行时优化。
- 大选项集短名单：predict_shortlist 用余弦相似度预筛，缓解数百标签场景的 token 预算压力。
版本/套餐对比
项目免费开源，唯一的「门槛」是硬件与系统：必须 Apple Silicon 芯片的 Mac，macOS 14 以上、Python 3.11 以上，pip install laya-mlx 即装即用。它与官方 Laya 是上游与移植的关系：模型能力归 Convai Innovations，MLX 运行时由社区独立实现，算法行为对齐以验证题集为准。选择逻辑很直接——在 Mac 上做本地、隐私优先的判定用 MLX 版；要上服务器、跨平台或需要完整生态（HTTP 服务、MCP、微调 notebook）则用原版 Laya。官方基准研究也坦率指出：同检查点上再实现通用十倍加速并不成立，实测收益在个位数百分比，价值主要在零依赖与本地化而非绝对速度。
值不值得用？
对三类人它几乎没有替代品：要端侧跑内容审核或路由、数据不能出本机的团队；想在 Mac 笔记本离线批量做打标的研究者；以及给本地 Agent 加「直觉层」的开发者。成本是一次性下载权重加不到 1GB 内存占用，之后零 API 费用。限制也很清楚：只服务 Apple Silicon 用户；移植为非官方实现，上游更新要等同步；基准加速有限，期待「快十倍」会失望。如果你的判定量不大、又能接受云端，直接用原版 Laya 更省心；若隐私或离线是硬约束，Laya MLX 值得直接采用。
从工程实践的角度，这个移植项目的价值不止于推理本身：它完整示范了如何把一个 PyTorch 模型迁移到 MLX 运行时——权重参数名与精度转换、提示格式保持、校准参数钳制、保真度验证题集，每个环节都有可复用的做法，做端侧模型移植的团队可以直接参考。使用时注意它的延迟数据是单问题 API 基准而非游戏帧时间，真实业务吞吐要按自己的批量策略实测。另外权重文件建议提前下载到本地缓存目录，避免运行时联网拉取影响离线场景。
使用建议
- 先用 CLI 跑自己的样本，比对上游模型的输出一致性再接入业务。
- 多语言混合流量保留默认路由，不要固定单一检查点。
- 长驻服务开启 compile 与 prompt 缓存，延迟更稳。
- 标签特别多的分类先试 predict_shortlist，必要时再做微调。
适合谁用？
- 推荐：Apple Silicon 用户中要做本地分类、风控、打标的开发者与研究者，隐私敏感的端侧 Agent 项目。
- 可考虑：想离线体验决策模型的 Mac 用户，装完即玩。
- 不推荐：Windows/Linux 服务器环境，或追求极致吞吐的大规模云端推理场景。
