AI工作站

EvalCore是面向大模型应用与AI智能体的轻量化二进制评测运行工具，支持通过 YAML 自定义测试用例与评分规则，可录制线上真实运行行为，在 CI 流程中离线回放核验，精准捕捉模型迭代引发的功能回归问题，实现 AI 应用标准化、可自动化的质量校验。

一、产品核心功能：

1、单一二进制程序，专注 LLM 应用与 AI 智能体自动化评测运行。

2、支持 YAML 可视化配置测试用例与自定义评分规则，灵活适配各类评测标准。

3、全程录制模型调用行为，支持离线确定性回放，适配 CI 自动化流程。

4、多目标兼容：OpenAI 协议接口、REST 服务、Shell 脚本、链路追踪目标。

5、基线版本校验与回归门禁机制，拦截模型迭代、代码变更引发的劣化问题。

6、支持多模型版本对比、迭代试跑与自动化评测报告生成。

7、本地 SQLite 数据库存储回放记录，数据留存、追溯便捷。

8、原生兼容 OpenTelemetry、OpenInference 链路追踪协议。

二、典型使用场景：

1、每次代码提审（Pull Request）自动执行 AI 应用回归测试，保障迭代稳定性。

2、CI 流程中离线回放历史 LLM 运行数据，无需依赖 API 密钥即可完成评测。

3、提示词、依赖包迭代后，对比新旧模型版本效果，前置把控发布质量。

4、对智能体执行行为做快照固化测试，依托通过率指标设置发布门禁，严控上线标准。

三、标准使用流程：

安装 EvalCore 二进制程序，新建 evals.yaml 评测配置文件与 JSONL 测试数据集，对接兼容 OpenAI 接口、REST 服务或终端 Shell 执行目标。先在线上环境完成一次运行，录制完整行为日志；后续可在 CI 流程中结合基线版本、试跑任务与自定义评分器，全自动回放整套评测流程，完成回归校验与效果对比。

数据统计