开源项目推荐｜DVC：让 AI 评测集、Prompt 和结果可以一起回到某个版本

开源项目推荐｜DVC：让 AI 评测集、Prompt 和结果可以一起回到某个版本

AI 团队经常保留一张最终得分表，却说不清当时用了哪一版样本、人工标签、Prompt、模型参数和清洗脚本。下次结果变化时，只能猜是模型退化还是数据变了。DVC 是面向数据、流水线与实验的版本控制工具，通过可进入 Git 的元数据文件追踪大型文件，用 dvc.yaml 描述依赖和输出，并记录参数、指标与实验变化。它适合让评测从一次性表格变成可复现资产。

代码进 Git，数据用指针关联

大型图片、音频、对话和模型输出不适合直接塞进 Git 仓库。DVC 通过 .dvc 文件保存目标路径、校验和与远端信息，Git 记录这个小型元数据文件，实际内容进入对象存储或其他远端。切换代码提交后，团队可以取回与之对应的数据版本。

远端存储仍需租户隔离、访问控制、加密和删除流程；.dvc 文件中不要写入临时签名 URL 或凭据。含个人信息的评测集应先脱敏并记录授权用途。

把评测步骤写成流水线

LLM 评测可拆成准备样本、执行模型、结构校验、评分、复核和报告。dvc.yaml 为各阶段声明命令、依赖与输出，变化后只重跑受影响阶段。参数与指标用结构化文件保存。

流水线应记录 Prompt、Schema、模型 code、温度、推理档位、最大输出和工具配置。托管模型还要保存执行时间、响应快照和平台返回标识；仅写一个 alias 不能保证未来复现。

评测集本身也要评测

样本需要覆盖真实任务、失败边界和不同用户群，而不是只选模型擅长的问题。每条样本记录来源、用途、难度、标签人和最后复核时间。发现答案错误或问题歧义时，修订应生成新版本，不要悄悄覆盖旧文件，否则历史得分失去解释基础。

训练数据、开发集和验收集要隔离，频繁根据验收结果调 Prompt 会对固定题目过拟合。可维护滚动新样本和长期锚点；自动评分可用另一套独立模型扩大检查面，高价值差异仍需人工复核。

实验不只记录一个总分

DVC Experiments 可以保存与当前 Git 基线关联的实验变化，并比较参数、指标和图表。对于 AI 应用，除了正确率，还应记录 Schema 一次通过率、人工偏好、拒答、事实引用、首字延迟、总时长、输入输出 Token 和单位成功任务成本。

总分会隐藏问题。模型可能平均更高，却在工具调用或某种语言上退化。报告应按任务、风险和能力分组并保留失败样本，才能支持发布决策。

数据版本与运行日志如何连接

每次评测生成唯一运行 ID，记录 Git commit、DVC 数据版本、流水线参数、AnyAIS 模型 code 和输出目录。线上灰度也记录相同字段，出现异常时可以找到对应离线实验。不要只在报告文件名里写日期，结构化元数据更容易查询与自动校验。

AnyAIS 提供统一模型目录、调用与用量数据，DVC 管理本地评测集、Prompt、流水线和实验结果。两者结合后，团队可以在同一数据版本上比较多个模型，也能把新增线上失败样本经过脱敏与审核后纳入下一版评测集。

从最小闭环开始

先选二十到五十条高价值样本，把输入、期望、Prompt 和指标纳入版本；随后增加运行脚本和 dvc.yaml，再接入远端存储与 CI。每次模型或 Prompt 变更都生成一份可回溯报告，重要发布由独立人员复核。

DVC 不会替团队决定什么是好答案，但它能确保每次结论对应明确的数据、代码和参数。评测可复现，模型比较才不是一次性的截图。

参考资料

• [DVC：.dvc 文件与数据版本](https://dvc.org/doc/user-guide/project-structure/dvc-files)
• [DVC：定义数据流水线](https://dvc.org/doc/user-guide/pipelines/defining-pipelines)
• [DVC：Experiment Management](https://dvc.org/doc/user-guide/experiment-management)

如果你正在 AnyAIS 比较多个模型，可以先固定一版真实评测集与 Prompt，再用 DVC 把数据、参数、输出和报告关联到同一版本。