LLM-as-a-Judge 怎么做：可直接运行的 Jev 评判方案

为什么这件事适合交给 Jev

我们用 2,390 道有标准答案的题实测过：是/否判断上 Jev 准确率 92.5%，和 GPT-5.6 Sol（92.1%）、Terra（91.6%）在统计误差以内，但中位延迟 456ms 对 1.3–1.7 秒，跑完同一批题花 $0.049 对 $4.27。
更关键的是它的把握能拿来分流：800 道是/否题里「信心 ≥90% 却答错」Jev 只有 6 次，Sol 39 次、Terra 49 次、Luna 88 次。评判器最怕的就是自信地判错。
一次调用可以问很多道题。下面每个方案都是一次调用问完 2–4 个判断，耗时和只问一道差不多。

文中所有数字来自我们自己跑的 2,390 题实测，方法和局限见实测报告。

方案 1

回答质量三连判

一次调用同时判断：有没有依据、答没答全、啰不啰嗦。

把用户问题、参考材料和 AI 回答粘进来

一次调用，问完全部 3 道

看代码

import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,                     // 把用户问题、参考材料和 AI 回答粘进来
  questions: {
    grounded: { type: 'boolean', instructions: '回答里的所有事实性说法，是否都能在参考材料中找到依据？' },
    complete: { type: 'boolean', instructions: '回答是否完整覆盖了用户问题？' },
    concise: { type: 'score', instructions: '这个回答的表达效率如何？',
      criteria: ['大量废话', '偏啰嗦', '长度合适', '精炼有力'] },
  },
});

方案 2

RAG 幻觉检测闸门

检查回答有没有超出检索到的材料，并直接给出放行 / 重写 / 拦截的处置。

把检索到的材料和生成的回答粘进来

一次调用，问完全部 3 道

把 supported 的概率配一个阈值（比如 0.8）做自动放行，剩下的交给人——Jev 标为「没把握」的那一档正好是该转人工的题。

看代码

import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,                     // 把检索到的材料和生成的回答粘进来
  questions: {
    supported: { type: 'boolean', instructions: '回答中的每一处具体信息，是否都由材料支持？' },
    contradicts: { type: 'boolean', instructions: '回答中是否存在与材料直接矛盾的说法？' },
    action: { type: 'choice', instructions: '基于材料的支持程度，应当如何处置这个回答？',
      criteria: { accept: '可以直接放行给用户', revise: '需要补充或修正后再发', reject: '严重偏离材料，应当拦截重生成' } },
  },
});

方案 3

两个回答选一个

A/B 对比两版输出，给出胜者和差距大小，用来做离线评测或线上灰度。

把同一个问题的两版回答粘进来

一次调用，问完全部 2 道

看代码

import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,                     // 把同一个问题的两版回答粘进来
  questions: {
    winner: { type: 'choice', instructions: '哪一版回答对提问者更有用？',
      criteria: { a: '回答 A 更好', b: '回答 B 更好', tie: '两版质量相当' } },
    margin: { type: 'score', instructions: '两版之间的质量差距有多大？',
      criteria: ['几乎没差别', '略有差距', '差距明显', '一版明显不合格'] },
  },
});

常见问题

Jev 和用 GPT 做评判器有什么区别？

Jev 不写字，它只在你预先定义的答案空间里选，并返回概率。我们实测同一批 2,390 题：是/否判断准确率和 GPT-5.6 Sol 打平，但快 3 倍、便宜 88 倍，而且「自信地答错」的次数只有它的六分之一。

一次能问几道题？

很多。实测一次塞 50 道题的耗时和问 1 道差不多，50 道里只有 2 道的判断和单独问时不一样。一次塞 100 道就开始不稳定了（全程耗时 1.0 秒到 8.2 秒都有）。

返回的概率可信吗？

是/否题的期望校准误差（ECE）是 0.048，和 GPT-5.6 Sol 同级。多选题会过度自信：平均报 89% 的把握，实际只对 77%，用阈值时要留余量。

评判需要打分理由怎么办？

Jev 给不了理由，它只给类型化的答案和概率。常见做法是让 Jev 先判，只有被判为不合格或没把握的那一小部分再交给大模型写理由——省下的是绝大多数调用。

这么用的真实开源项目

devagrawal09/jev-review — 分阶段的代码评审工作流和本地看板
NiazMorshed2007/jev-review — 本地优先的 MCP 插件，给编码 agent 做持续质量评审

这些项目的源码里都能找到真正调用 Jev 的那一行。更多项目见 awesome-jev-verified。

换成你自己的题

上面的问题是固定的。想写自己的判据、自己的选项、自己的打分档位，去试验场里随便改。

打开试验场

用 Jev 做 LLM-as-a-Judge