两个新任务族：长表抽取（从长表格里一行不漏地抽数据）与律所经验检索（在所内历史事项库里找到可复用的先例立场）。
（第七版真实案卷加难题与法律推理预览见下方专节。）当前 44 题。评分代码修好后，两个模型都在 0.98 左右：题目基本公平，但区分度不足，需要更难的题。
实跑在 box 上用 Harbor + Podman 真实运行模型、评分器打分。离线复评不重跑模型，拿已有答案文件用新版评分代码重新打分。
每题是“全部通过才得 1 分，否则 0 分”。模型都用 Harbor 自带的终端代理（terminus-2）驱动：千问3.8-27B 走阿里云百炼兼容接口，深度求索 flash 走官方接口。
第五版实跑结果；fm-004、fm-014、fm-017 另用第六版评分代码离线复评，最终分取复评结果，单元格里会标出“离线复评”。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因 |
|---|
代码版本 cc00718。素材来自仓库里已脱敏的真实案卷：深圳大鹏（三层租赁链、扫描件文字）、昆山花桥（214 份单间产权证清单）、洛阳（授权链、资产管理协议），以及黄石。新增长表抽取 le-023 ~ le-030、律所经验检索 fm-023 ~ fm-030，所库扩到 142 个事项。
实跑标准答案 16/16 = 1.0，空答案 16/16 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| fm-023 | 未通过 | 通过 | 千问：引用了基准日时尚未生效的事项 真实的模型失误：千问引用了 FM-MAT-117，但它写明 2025-06-01 才生效，基准日 2025-03-01 时不能用。 | |
| fm-024 | 通过 | 通过 | — | |
| fm-025 | 通过 | 通过 | — | |
| fm-026 | 通过 | 通过 | — | |
| fm-027 | 通过 | 通过 | — | |
| fm-028 | 通过 | 通过 | — | |
| fm-029 | 通过 | 通过 | — | |
| fm-030 | 通过 | 通过 | — | |
| le-023 | 未通过 | 未通过 | 千问：字段值与标准答案不一致 深度求索：字段值与标准答案不一致 评分不公平：标准答案的行主键写成“ROOM-1001”这种格式，题目没说明；两个模型的 214 行内容逐字段一致，只是主键写成“1001”。 | |
| le-024 | 通过 | 通过 | — | |
| le-025 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 评分不公平：主键格式“CERT-1001”未说明；按室号匹配后 60 行字段全对，合计 3222.60 也对。 | |
| le-026 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 评分不公平（两处）：主键格式“L1-TERM”未说明；且第三层（海屿→白鹭湾）月租金 1040652 元在原文第 101 行明确写出，标准答案却写成“遮盖、为空”，模型抽对了反被判错。 | |
| le-027 | 未通过 | 未通过 | 千问：没有产出可解析的结果文件、字段格式不符约定、声称完整但行对不上、行没对上（漏行）、行没对上（多行）、字段值与标准答案不一致 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 同 le-026：主键格式未说明，第三层租金标准答案有误。千问在 30 分钟内未完成（超时，真实的效率问题）。 | |
| le-028 | 未通过 | 未通过 | 千问：没有产出可解析的结果文件、字段格式不符约定、声称完整但行对不上、行没对上（漏行）、行没对上（多行）、字段值与标准答案不一致 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 题目约定不清：标准答案每个物业 1 行（共 2 行），模型按每张证书 1 行；主键格式“PROP-KS-1001”也未说明。千问超时未完成。 | |
| le-029 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行）、合计数对账未通过 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行）、合计数对账未通过 评分不公平（两处）：主键格式“FL-10”未说明；题目要求把合计放在 payload.total_rooms，评分却只读最外层 total_rooms（千问照题目做反被判错）。另外两个模型都多加了一行“合计”，这一点算模型小问题。 | |
| le-030 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 题目约定不清：标准答案 4 行的划分方式（开发期期限、筹备费、运营期另行约定、空白页）题目没有说明，模型按费用项目自行划分；主键格式也未说明。 |
下表按第八版（修正前）、第九版、第十版（法条统一与问题编号回退）排列。法律推理按分项加权给 0 到 1 之间的分数，不是全过才得分。
代码版本 4933072。新增法律推理任务族 lr-001 ~ lr-010，素材来自真实案卷事实（转租同意、租期二十年上限、租赁登记备案、集体土地表决、划拨用地临时改变用途、授权链缺陷、民法典新旧衔接、三层租赁链）。本族计分权重为 0，标准答案尚未经律师确认，结果仅供参考。
实跑标准答案 10/10 = 1.0，空答案 10/10 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| lr-001 | 0.00 | 0.70 | — 千问运行超时（模型请求长时间无响应），无输出。深度求索结论正确；法条引用为 0 是评分问题（见下）。 | |
| lr-002 | 0.80 | 0.80 | — 两模型结论、中间事实、证据均正确；法条引用为 0 是评分问题：模型写“中华人民共和国民法典”，标准答案写“民法典”，评分未统一法律名称。 | |
| lr-003 | 0.61 | 0.64 | — 法条引用为 0 同上（千问修正名称后为满分）；其余部分有真实失分（第三个子问题结论不全）。 | |
| lr-004 | 0.00 | 0.00 | — 评分不公平：题目没写明问题编号应为 registration_filing，两模型用了别的编号，导致所有分项都匹配不上，一律 0 分。 | |
| lr-005 | 0.00 | 0.12 | — 千问超时无输出。深度求索结论错误，属真实失分（待律师确认标准答案）。 | |
| lr-006 | 0.00 | 0.55 | — 千问超时无输出。深度求索结论正确，中间事实大多未对上，属真实失分（待律师确认）。 | |
| lr-007 | 0.00 | 0.10 | — 评分不公平：题目没写明问题编号应为 allocated_temp_use；深度求索拆成两个编号，全部匹配不上。千问超时。 | |
| lr-008 | 0.10 | 0.10 | — 评分不公平：两模型的结论（未经追认无效）、风险等级（高）、四个中间事实与标准答案完全一致，只因问题编号不同（标准为 auth_chain，题目未写明）而几乎全部记 0。 | |
| lr-009 | 0.00 | 0.67 | — 千问超时无输出。深度求索部分正确，属真实失分（待律师确认）。 | |
| lr-010 | 0.00 | 0.45 | — 千问超时无输出。深度求索部分正确，属真实失分（待律师确认）。 |
修正内容：lr-001、002、007、008、009、010 的题目或标准答案，以及证据核对规则。标准答案 10/10 = 1.0，空答案 10/10 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| lr-001 | 0.85 | 0.85 | — 修复有效：题面已写明两个问题编号。两模型结论、中间事实、证据、风险等级、对照分全部正确，只剩法条引用为 0（法律名称未统一，评分问题）。 | |
| lr-002 | 0.78 | 0.78 | — 两模型结论正确，中间事实 3/4；法条引用为 0 仍是法律名称未统一。 | |
| lr-003 | 0.00 | 0.64 | — 千问超时。深度求索第三个子问题结论不全，属真实失分；法条引用为 0 是评分问题。 | |
| lr-004 | 0.00 | 0.00 | — 仍不公平：题面没写明问题编号应为 registration_filing；深度求索用 unregistered_lease_validity，结论 valid、风险 low 与标准答案完全一致却得 0。千问超时。 | |
| lr-005 | 0.00 | 0.15 | — 深度求索真实失分：只有村委会同意的一侧应为“无法判断”，模型判为“未经追认无效”；三分之二同意一侧应为“有效”，模型判为“无法判断”。千问超时。 | |
| lr-006 | 0.59 | 0.59 | — 两模型结论正确，中间事实大部分没对上（真实失分为主）；法条引用为 0 是评分问题。 | |
| lr-007 | 0.10 | 0.10 | — 仍不公平为主：题面没写明问题编号 allocated_temp_use，且标准答案只有一个问题，模型拆成两个。另外标准答案结论为“无法判断”（临时建筑专条待律师确认），模型判为无效，这一点属于有争议的真实分歧。 | |
| lr-008 | 0.10 | 0.10 | — 仍不公平：两模型的结论、风险等级、四个中间事实与标准答案完全一致，只因问题编号不是 auth_chain（题面未写明）而得 0.1。另外法条写成“第一百七十一条”与“171”未统一。 | |
| lr-009 | 0.00 | 0.55 | — 千问超时。深度求索中间事实全对，三个子结论只对一个，属真实失分。 | |
| lr-010 | 0.00 | 0.51 | — 深度求索前三个问题全对，根权属问题应为“无法判断”，模型判为“未经追认无效”，属真实失分；中间事实多数未对上。千问超时。 |
修正内容：评分时去掉“中华人民共和国”前缀并把中文条文号转成阿拉伯数字；lr-004、007、008 题面写明唯一问题编号，且评分在单题时按结论内容回退匹配。标准答案与空答案见实跑链。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| lr-001 | 1.00 | 1.00 | — 满分。法条统一与问题编号修复均生效。 | |
| lr-002 | 1.00 | 0.93 | — 千问满分；深度求索 0.925（中间事实缺 1/4，真实失分）。法条引用已满分。 | |
| lr-003 | 0.00 | 0.76 | — 千问超时。深度求索 0.76：第三个子问题结论/风险不全，属真实失分；法条引用已满分。 | |
| lr-004 | 0.00 | 0.90 | — 千问超时。深度求索 0.90：结论/中间/法条/风险全对（单题编号回退生效）；证据路径与标准答案不一致，属真实失分。 | |
| lr-005 | 0.17 | 0.23 | — 两模型结论均错（真实失分）。深度求索法条引用已满分。 | |
| lr-006 | 0.00 | 0.62 | — 千问超时。深度求索结论对、中间事实大多未对上（真实失分）；法条引用仍为 0（未命中必引）。 | |
| lr-007 | 0.62 | 0.65 | — 题面已写明 allocated_temp_use，中间事实与法条两模型都对上了，但结论不是“无法判断”（标准答案因临时建筑专条待律师确认），属真实失分。千问该题被标超时但仍写出可评分答案（0.62）。 | |
| lr-008 | 1.00 | 1.00 | — 两模型满分。问题编号回退 + 法条统一后，内容与标准答案一致。 | |
| lr-009 | 0.00 | 0.77 | — 千问超时。深度求索中间/法条/风险全对，三个子结论只对一个，属真实失分。 | |
| lr-010 | 0.54 | 0.49 | — 两模型约 0.5：根权属与部分中间事实不对，属真实失分。 |
代码版本 b1f7a0b，评分版本 2026-10-14.5。新增尽调清单核对任务族 dc-001 ~ dc-010：按清单分类案卷、标缺件、交叉核对事实、形成补件清单与摘要。素材来自黄石、深圳大鹏、昆山、洛阳等已脱敏案卷。本族计分权重为 0，标准答案尚未经律师确认，结果仅供参考。
实跑标准答案 10/10 = 1.0，空答案 10/10 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| dc-001 | 尽调清单核对：黄石：基础分类 + 缺件 + 面积交叉核对 | 0.00 · 超时 | 0.48 | 千问：超时或无输出 深度求索状态/缺件大体正确，但文件分类分为 0：模型路径写成 /app/input/…，标准答案是 input/…，评分未去掉 /app/ 前缀（不公平）。事实字段抽了主体名称，标准答案要的是面积交叉核对（真实失分）。千问超时。 |
| dc-002 | 尽调清单核对：大鹏第一轮：首批案卷缺件与租赁链面积矛盾 | 0.00 · 超时 | 0.37 | 千问：超时或无输出 深度求索部分缺件对上；文件分类同样受路径前缀拖累。千问超时。 |
| dc-003 | 尽调清单核对：大鹏第二轮：补件后状态更新 + 禁止整份再要 | 0.43 | 0.00 · 超时 | 深度求索：超时或无输出 千问有输出约 0.43；深度求索超时未出分。文件分类分为 0 仍受路径问题影响。 |
| dc-004 | 尽调清单核对：昆山：分散产证清单 + 多处文件不一致 | 0.00 · 超时 | 0.38 | 千问：超时或无输出 深度求索约 0.38；路径问题 + 事实叶子分为 0。千问超时。 |
| dc-005 | 尽调清单核对：洛阳：HMA 清单 + 签约主体与产权人不一致 | 0.00 · 超时 | 0.51 | 千问：超时或无输出 深度求索约 0.51，状态较准；分类路径问题仍在。千问超时。 |
| dc-006 | 尽调清单核对：黄石变体：无法读取 + 文件名错挂 | 0.61 | 0.56 | — 两模型都有分（千问 0.61、深度求索 0.56）；状态与补件较好，分类路径问题仍在。 |
| dc-007 | 尽调清单核对：昆山变体：混入无关材料 + OCR 字段残缺 | 0.00 · 超时 | 0.35 | 千问：超时或无输出 深度求索约 0.35；干扰项/OCR 题明显更难。千问超时。 |
| dc-008 | 尽调清单核对：大鹏：交叉核对密集（租期 / 证照主体 / 转租时序） | 0.00 · 超时 | 0.00 · 超时 | 千问：超时或无输出 深度求索：超时或无输出 两模型均超时未出分。 |
| dc-009 | 尽调清单核对：洛阳变体：授权链文件分类 + 抵押适用性 | 0.00 · 超时 | 0.48 | 千问：超时或无输出 深度求索约 0.48；分类路径问题。千问超时。 |
| dc-010 | 尽调清单核对：续审对照：给定上一轮补件 stub，只更新增量 | 0.00 · 超时 | 0.40 | 千问：超时或无输出 深度求索约 0.40；分类分为 0（含路径及其他错分）。千问超时。 |
代码版本 37b77d2。评分把 /app/input/… 与 input/… 视为同一路径。下表为用原实跑答案离线重评的结果（括号内为相对实跑的升降）；千问多数题仍无答案（超时）。
| 题目 | 考点 | 千问3.8-27B（离线） | 深度求索 flash（离线） | 说明 |
|---|---|---|---|---|
| dc-001 | 尽调清单核对：黄石：基础分类 + 缺件 + 面积交叉核对 | 无答案 | 0.70 (+0.22) | 路径修复后分类 F1 升到 1.0，总分 0.48→0.70。事实叶子仍为 0（抽错字段，真实失分）。 实跑：千问 0.00 / 深度求索 0.48 |
| dc-002 | 尽调清单核对：大鹏第一轮：首批案卷缺件与租赁链面积矛盾 | 无答案 | 0.52 (+0.15) | 0.37→0.52；分类约 0.73。事实叶子仍为 0。 实跑：千问 0.00 / 深度求索 0.37 |
| dc-003 | 尽调清单核对：大鹏第二轮：补件后状态更新 + 禁止整份再要 | 0.50 (+0.07) | 无答案 | 千问 0.43→0.50。深度求索无可用答案（超时）。 实跑：千问 0.43 / 深度求索 0.00 |
| dc-004 | 尽调清单核对：昆山：分散产证清单 + 多处文件不一致 | 无答案 | 0.48 (+0.10) | 0.38→0.48；分类约 0.89。事实叶子仍为 0。 实跑：千问 0.00 / 深度求索 0.38 |
| dc-005 | 尽调清单核对：洛阳：HMA 清单 + 签约主体与产权人不一致 | 无答案 | 0.65 (+0.14) | 0.51→0.65；分类约 0.75。 实跑：千问 0.00 / 深度求索 0.51 |
| dc-006 | 尽调清单核对：黄石变体：无法读取 + 文件名错挂 | 0.67 (+0.06) | 0.64 (+0.08) | 千问 0.61→0.67；深度求索 0.56→0.64。 实跑：千问 0.61 / 深度求索 0.56 |
| dc-007 | 尽调清单核对：昆山变体：混入无关材料 + OCR 字段残缺 | 无答案 | 0.38 (+0.03) | 0.35→0.38，升幅小；干扰项题仍难。 实跑：千问 0.00 / 深度求索 0.35 |
| dc-008 | 尽调清单核对：大鹏：交叉核对密集（租期 / 证照主体 / 转租时序） | 无答案 | 0.55 (+0.55) | 实跑超时未出分；离线用残留答案重评为 0.55（分类约 0.57）。 实跑：千问 0.00 / 深度求索 0.00 |
| dc-009 | 尽调清单核对：洛阳变体：授权链文件分类 + 抵押适用性 | 无答案 | 0.68 (+0.20) | 0.48→0.68；分类约 0.80。 实跑：千问 0.00 / 深度求索 0.48 |
| dc-010 | 尽调清单核对：续审对照：给定上一轮补件 stub，只更新增量 | 无答案 | 0.40 | 0.40→0.40，无变化；分类 F1 仍为 0（不是路径问题，属真实错分）。 实跑：千问 0.00 / 深度求索 0.40 |
题目：本单同时涉及抵押、第三方品牌合同未终止、付款期限三件事，要求从所库里各找一个可复用的先例立场，至少综合 3 个事项。
同类问题还有两处，在第六版修好：指定锚点原文写在“锚点”栏位却只读“引文”栏位（fm-017）；必中事项写成空列表时误读了其他栏位里的排除名单（fm-014）。
题目问：“付款期限应统一六十日，还是反对把历史六十日当政策？”标准答案是 FM-MAT-012，它正好记录了“业务主张统一六十日、法务反对”的冲突，并要求升级。两个模型都正确升级了，但都没把 FM-MAT-012 列入必中事项（深度求索在证据里引用了它）。它们改选了 FM-MAT-101、FM-MAT-102，这是另一组“诉讼组和非诉组现行口径冲突”。所以这道题属于模型选错事项，不算评分器的问题。