SDK 与客户端

LLM2Jev

@Yinsongxu4PythonApache-2.0更新于 2026-09-20可当场跑

将本地语言模型转换为兼容Jev的结构化决策引擎,支持Choice、Score和Noul输出,采用预填充二进制推理。

英文原文

Adapt local language models into Jev-compatible structured decision engines with Choice, Score, and Noul outputs powered by prefill-only binary inference.

Yinsongxu/LLM2Jev

它在哪儿调用了 Jev

if any(getattr(route, "path", None) == "/v1/systemone" for route in app.routes):

src/llm2jev/sglang_server.py:122

链接指向我们抓取当天的那个 commit,行号是准的。

它问 Jev 的问题

下面是从这个项目源码里原样取出来的 question 组合。

取自 examples/sglang_inference.py:14

  1. delivery是/否

    这是否是一个物流配送问题?

  2. department选项

    哪个部门应该处理这个请求?

    • shipping物流配送
    • billing付款账单
    • technical产品故障
  3. urgency打分

    这个请求有多紧急?

    • 0不紧急
    • 1比较紧急
    • 2非常紧急

用你自己的内容跑一遍

代码
import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,
  questions: {
    delivery: { type: 'boolean', instructions: '这是否是一个物流配送问题?' },
    department: { type: 'choice', instructions: '哪个部门应该处理这个请求?',
      criteria: { shipping: '物流配送', billing: '付款账单', technical: '产品故障' } },
    urgency: { type: 'score', instructions: '这个请求有多紧急?',
      criteria: ['不紧急', '比较紧急', '非常紧急'] },
  },
});

取自 examples/transformers_inference.py:30

  1. is_delivery_issue是/否

    这是否是一个物流配送问题?

  2. department选项

    这个请求应该交给哪个部门处理?

    • billing付款、账单或退款问题
    • shipping物流、配送或包裹丢失问题
    • technical产品故障或技术支持问题
  3. urgency打分

    评估这个客户请求的紧急程度。

    • 0不紧急
    • 1比较紧急
    • 2非常紧急

用你自己的内容跑一遍

代码
import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,
  questions: {
    is_delivery_issue: { type: 'boolean', instructions: '这是否是一个物流配送问题?' },
    department: { type: 'choice', instructions: '这个请求应该交给哪个部门处理?',
      criteria: { billing: '付款、账单或退款问题', shipping: '物流、配送或包裹丢失问题', technical: '产品故障或技术支持问题' } },
    urgency: { type: 'score', instructions: '评估这个客户请求的紧急程度。',
      criteria: ['不紧急', '比较紧急', '非常紧急'] },
  },
});

取自 tests/test_binary.py:41

  1. refund是/否

    Is a refund requested?

用你自己的内容跑一遍

代码
import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,
  questions: {
    refund: { type: 'boolean', instructions: 'Is a refund requested?' },
  },
});

同类的其他项目