Jev 决策模型方案调研：三条线路对比与选型建议

三条线路的口径与关键事实

本报告按三条线路展开。

• 线路一为 Jev 本体（闭源 API）
• 线路二为大模型复现（解码器 + 并行约束打分）
• 线路三为 Encoder 复现（编码器 + 决策头，代表项目 Laya）

五条关键结论

1. 大模型复现慢，根因是推理形态

   Jev 是纯 prefill、共享 state 前缀、读出头预枚举选项，全程不做解码。复现线路若按「逐问调用 + 生成 JSON」必然退化到秒级。

   更本质的矛盾：1.5B 模型主字段准确率仅 58%，要到 7B 才达 96%，而 7B 的 prefill 又重——开源侧拿不到「又快又准」。

2. 准确率落后 13 个点不是普适结论

   差距集中在 Jev 擅长的特定任务上，换任务即可收窄甚至反超。

   如 Banking77 上微调 BERT 93.66% vs Jev 92.40%；且该差距衡量的是与闭源模型的一致率，而非真值。

3. 「不微调泛化好」成立，但对照对象是 Encoder

   准确排序
   Jev 零样本> 大模型零样本> 微调前 Encoder> 随机

   干净版 DeBERTa-v3 零样本在多个评测集上全面输给 Jev。

4. Laya 零样本接近随机，且错误不可观测

   官方自曝零样本 0.362，低于多数类基线。

   更危险的是误判时自报置信度仍高达 0.95+（如英文 checkpoint 跑高棉语准确率 0.000）。

   根因：MLM 预训练不提供「按业务口径回答」的能力，决策头随机初始化，必须微调才有用。

5. Laya 微调后与 BERT 同梯队，真增量在校准与形态

   两者准确率无数量级差异。Laya 真正的增量在三处：

   • 校准（传统 softmax 系统性过度自信）
   • 一次前向回答多个问题（33 ms 摊薄）
   • 选项集推理时可替换

   边界：选项数超 50 时失效。

大模型分类 vs 传统 BERT 分类

大模型的净优势落在标注成本与变更成本上，不在准确率上。

它不是「更好的分类器」，是「更省标注的分类器」。