企业 AI 上线后仍需持续评测。本文从测试集维护、证据核对、问题分类、变更记录与回归验证说明如何建立可复核的运营闭环。
企业 AI 进入日常使用后，初次验收通过并不代表结果会长期稳定。知识资料会更新，业务口径会调整，用户提问方式也会变化。如果只在上线前集中测试，后续出现回答引用旧版本、遗漏适用条件或工具执行异常时，团队往往只能被动处理。持续评测应成为运营机制的一部分，并与资料维护、任务规则和问题处置相连接。
测试集来自真实任务类型
测试题不宜只选择答案明确的常识问题。团队可按查询、归纳、比较、草稿生成和受控操作等任务建立样本，覆盖常见场景、边界条件、资料冲突和应当拒绝的请求。样本应去除无关个人信息，并标注适用资料版本与评价重点。
评价同时检查结论与依据
仅判断文字是否流畅，容易忽略事实错误。评测可分别检查结论是否符合当前资料、引用能否支持结论、是否说明限制、权限范围是否正确，以及输出格式能否被后续流程使用。对于没有唯一答案的任务，可记录必须包含的要点和不可越过的边界。
问题分类指向不同处置入口
同一个错误表象可能来自资料缺失、检索范围不当、任务说明含糊、模型判断偏差或外部工具失败。评测记录应保留输入、资料版本、输出、问题类型和复核意见。分类后分别进入知识维护、权限配置、提示规则或接口排查，避免把所有问题都归为模型能力不足。
变更前后保留可比较记录
调整资料、规则或模型配置时，要说明变更目的、影响任务和生效时间。先在代表性样本上验证，再扩大范围。若一次同时修改多个因素，即使结果改善也难以判断原因，因此关键变更宜保持范围清楚，并保留必要的版本信息。
回归验证关注旧能力是否退化
修复某类问题后，除重测失败样本，还应运行与其相关的既有测试。新增资料可能提高某个答案的时效性，却让另一类问题检索到不适用内容；规则收紧也可能造成正常请求被过度拒绝。回归结果应与变更记录关联，便于决定发布、回退或继续调整。
线上反馈经过复核再进入测试集
用户反馈可帮助发现真实差距，但不应未经检查就成为标准答案。运营人员需要确认业务事实、资料权限和问题是否可复现，再决定加入长期样本、临时观察或个案处理。涉及敏感内容时，只保留评测所需的最小信息。
用趋势支持运营而非制造排名
团队可观察高频问题类型、资料过期、引用缺失和工具异常等变化，但不宜用单一分数替代业务判断。评测结果用于安排修正优先级，并由相应职责人员确认高风险任务是否继续开放。行业和组织已有要求时，仍应按适用制度执行。
常见问题
持续评测需要每天运行吗？
频率应依据资料变化、任务风险和使用规模确定。关键资料或规则变更后宜及时回归，稳定场景可按周期抽查。
测试集越大越好吗？
不一定。代表性、可复核和版本清楚比数量更重要；重复样本过多反而可能掩盖边界场景。
用户点赞可以代替评测吗？
不能。使用感受有参考价值，但无法单独证明事实、权限与业务规则正确，仍需按任务风险进行专业复核。