评测与研究

jev-search-rerank-eval

@zhuyansen4PythonMIT更新于 2026-09-18

基于TypeSafe Jev的rerank方法是否优于embedding搜索?对Agent Skills Hub目录中9831对样本和164个中英文查询进行分级相关性评估,并测量评判循环偏差。

英文原文

Does a TypeSafe Jev rerank beat embedding search? Graded relevance eval (9,831 pairs, 164 zh/en queries) over the Agent Skills Hub catalog, with the judge-circularity bias measured.

zhuyansen/jev-search-rerank-eval

它在哪儿调用了 Jev

"jev": jev[k], "llm": llm[k], "label": None}

src/jse/cli.py:131

链接指向我们抓取当天的那个 commit,行号是准的。

这个项目没法在这儿跑

它的 question 组合是运行时拼出来的,或者代码里没有直接写出来,所以没法原样搬过来。源码链接在上面,可以自己去看。

同类的其他项目