发现 / CLI / jev-eval

jev-eval

需自行部署终端

用自己的标注数据测量决策模型并选择阈值

由 admin 提交 · 收录于 7天前

⚡ System1 在这里负责什么

Jev 对标注样本回答类型化问题，统计与阈值推荐由评估程序计算。

介绍

Python 命令行评估工具，输出每个问题的准确率、校准表和风险覆盖情况，支持比较运行结果、检查漂移及导出阈值。真实采样需模型密钥，分析缓存无需额外调用；阈值只适用于所测数据范围。软件公开提供，使用托管模型可能产生额外 API 费用。来源：https://github.com/CMaintz/jev-eval/blob/main/README.md 本次仅核验公开源码文档，未安装或运行测试。

🧪 社区实测报告

0 份报告 · 0 份真实模型通过

还没有人测试过，来做第一个吧。

💬 相关讨论

发帖 →

还没有讨论。