评测与研究

jev-harness

@Astro-Han4PythonApache-2.0更新于 2026-09-20

一个编码 agent,通过 Jev 过滤所有工具结果,并用 A/B 测试衡量 pass@1 和成本与未过滤对照组的差异。

英文原文

A coding agent that filters every tool result through Jev before the model sees it, with an A/B harness measuring pass@1 and cost against the unfiltered control

Astro-Han/jev-harness

它在哪儿调用了 Jev

self.model = os.environ.get("JEV_MODEL", "typesafe-ai/jev")

jev_agent.py:145

链接指向我们抓取当天的那个 commit,行号是准的。

这个项目没法在这儿跑

它的 question 组合是运行时拼出来的,或者代码里没有直接写出来,所以没法原样搬过来。源码链接在上面,可以自己去看。

同类的其他项目