评测与研究

jev-decision-bench

@OmarMujahid2PythonMIT更新于 2026-09-19

一个独立的基准测试,用于评估TypeSafe的Jev模型,该模型不生成文本,而是根据内容和类型化问题列表进行回答。

英文原文

An independent benchmark of TypeSafe's Jev, a model that does not write text. You send it some content and a list of typed questions (yes/no, pick one option, rate on a scale) and

OmarMujahid/jev-decision-bench

它在哪儿调用了 Jev

d, wall, srv = post("api.typesafe.ai", "/v1/systemone", os.environ["TYPESAFE_API_KEY"], {"model": "jev-1.13.0", "state": state, "questions": questions})

run.py:38

链接指向我们抓取当天的那个 commit,行号是准的。

这个项目没法在这儿跑

它的 question 组合是运行时拼出来的,或者代码里没有直接写出来,所以没法原样搬过来。源码链接在上面,可以自己去看。

同类的其他项目