DD-Harbor #165 测评结果
两个新任务族：长表抽取（从长表格里一行不漏地抽数据）与律所经验检索（在所内历史事项库里找到可复用的先例立场）。
当前 44 题。评分代码修好后，两个模型都在 0.98 左右：题目基本公平，但区分度不足，需要更难的题。
44题（长表抽取 22 + 律所经验检索 22）
1.00 / 0.00标准答案 / 空答案（44 题实跑）
0.98千问3.8-27B（43/44，含 2 题离线复评）
0.98深度求索 flash（43/44，含 1 题离线复评）
怎么读这些数字
实跑在 box 上用 Harbor + Podman 真实运行模型、评分器打分。离线复评不重跑模型，拿已有答案文件用新版评分代码重新打分。
每题是“全部通过才得 1 分，否则 0 分”。模型都用 Harbor 自带的终端代理（terminus-2）驱动：千问3.8-27B 走阿里云百炼兼容接口，深度求索 flash 走官方接口。
版本演进（第一版 → 第六版）
千问3.8-27B深度求索 flash
第五版逐题结果（44 题）
第五版实跑结果；fm-004、fm-014、fm-017 另用第六版评分代码离线复评，最终分取复评结果，单元格里会标出“离线复评”。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因 |
|---|
分族平均（最终分）
案例：fm-013 为什么一开始“冤枉”了模型
题目：本单同时涉及抵押、第三方品牌合同未终止、付款期限三件事，要求从所库里各找一个可复用的先例立场，至少综合 3 个事项。
问题一：标准答案太窄。第二版的标准答案要求必须同时命中 FM-MAT-005（抵押）、FM-MAT-003（第三方品牌合同）、FM-MAT-001（付款期限）。两个模型在付款期限上选的都是 FM-MAT-009，这是所内现行的付款期限内部规范，比 FM-MAT-001 这个历史个案更合适。结果两个模型都被判“选错或漏选必中事项”，得 0 分。
修复一（第三版）：付款期限这一项改为“FM-MAT-001 或 FM-MAT-009 任一命中即可”；说明里写明过时事项可以拿来举例“历史不等于政策”。
问题二：证据路径。第三版里千问的证据引用了题目材料目录（input/）下的文件，被判“证据无法在所库/材料中核对”。
修复二（第四版）：证据路径同时接受所库和题目材料目录。用新评分代码离线复评，第二版、第三版千问的 fm-013 答案都变为 1 分。
同类问题还有两处，在第六版修好：指定锚点原文写在“锚点”栏位却只读“引文”栏位（fm-017）；必中事项写成空列表时误读了其他栏位里的排除名单（fm-014）。
仍然失败的题：fm-004（判为公平失败）
题目问：“付款期限应统一六十日，还是反对把历史六十日当政策？”标准答案是 FM-MAT-012，它正好记录了“业务主张统一六十日、法务反对”的冲突，并要求升级。两个模型都正确升级了，但都没把 FM-MAT-012 列入必中事项（深度求索在证据里引用了它）。它们改选了 FM-MAT-101、FM-MAT-102，这是另一组“诉讼组和非诉组现行口径冲突”。所以这道题属于模型选错事项，不算评分器的问题。
下一步：怎样拉开区分度
- 长表抽取已经没有区分度（两模型 22/22）。建议：使用真实扫描件或文字识别出来的噪声文本；跨文件主键冲突需要业务判断才能取舍；同一行在正文、附表、勘误里给出三个不同金额；逐字段严格比对，不再用宽松阈值。
- 律所经验检索要考多跳推理：结论必须综合 3 份以上备忘录推出，单看任何一份都会出错。
- 时间点推理：给定基准日，判断当时哪一份内部规范有效（含追溯生效、过渡期）。
- 冲突题：必须识别冲突、正确升级，同时说明“暂不采用哪一方、为什么”。
- 长所库检索成本：所库扩到上千个事项，限制检索步数，考核检索效率。
- 人工复核：每道新题至少找一位律师确认标准答案的唯一性，避免再出现 fm-013 那种“合理答案被判错”。