评测与研究

jev-bbq-experiment

@simonmesmith1R更新于 2026-09-19

对TypeSafe Jev在所有58,492个BBQ问题上的准确率、偏见、不确定性、成本和延迟进行可复现评估。

英文原文

Reproducible evaluation of TypeSafe Jev on all 58,492 BBQ questions: accuracy, stereotype bias, uncertainty, cost and latency.

simonmesmith/jev-bbq-experiment

它在哪儿调用了 Jev

req=urllib.request.Request('https://api.typesafe.ai/v1/systemone',data=json.dumps(p).encode(),headers={'Authorization':'Bearer '+self.key,'Content-Type':'applic

src/run.py:32

链接指向我们抓取当天的那个 commit,行号是准的。

这个项目没法在这儿跑

它的 question 组合是运行时拼出来的,或者代码里没有直接写出来,所以没法原样搬过来。源码链接在上面,可以自己去看。

同类的其他项目