“我觉得 A 更好”不是可复现的评测。一个简单的测试也可以严谨：事先定义任务、统一输入、记录结果，再解释局限。
建立测试样例
以文档摘要为例，准备 12 份经过脱敏的文本：4 份常规资料、4 份包含数字或日期的材料、4 份包含冲突信息的材料。为每份材料列出不能遗漏的事实和不能添加的说法。
预先写好评分表
| 项目 | 检查方法 | 建议记录 |
|---|---|---|
| 事实准确 | 逐项对照原文 | 错项数量与严重程度 |
| 覆盖程度 | 核对必需事实清单 | 已覆盖 / 总项目 |
| 格式遵守 | 检查字段、长度与结构 | 通过或未通过 |
| 延迟与成本 | 记录客户端耗时和账单 | 数值、时间与计费渠道 |
这些栏目是记录模板，不是任何模型的实际分数。重要任务应提高事实错误的权重，不要让漂亮表达掩盖严重错误。
保持条件一致
使用同一提示与输入，记录具体模型标识、参数、渠道与测试日期。无法对齐的参数要写明。生成结果可能有随机性，关键样例可重复多次；如果使用缓存，也要注明。
做一次盲评
把回答匿名标成 A、B，由不知道模型名称的人评分。先看原文再评分，避免被长度、语气或品牌影响。发现分歧时讨论具体标准，而不是简单求平均。
如何写结果文章？
公开测试方法、失败案例与样本数量，清楚区分实测数据和个人判断。小样本只支持“在这些任务中的表现”，不支持“全面最强”的结论。不要虚构测试过程或用联盟收益决定排名。