两个新任务族：长表抽取（从长表格里一行不漏地抽数据）与律所经验检索（在所内历史事项库里找到可复用的先例立场）。
（第七版真实案卷加难题与法律推理预览见下方专节。）当前 44 题。评分代码修好后，两个模型都在 0.98 左右：题目基本公平，但区分度不足，需要更难的题。
实跑在 box 上用 Harbor + Podman 真实运行模型、评分器打分。离线复评不重跑模型，拿已有答案文件用新版评分代码重新打分。
每题是“全部通过才得 1 分，否则 0 分”。模型都用 Harbor 自带的终端代理（terminus-2）驱动：千问3.8-27B 走阿里云百炼兼容接口，深度求索 flash 走官方接口。
第五版实跑结果；fm-004、fm-014、fm-017 另用第六版评分代码离线复评，最终分取复评结果，单元格里会标出“离线复评”。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因 |
|---|
代码版本 cc00718。素材来自仓库里已脱敏的真实案卷：深圳大鹏（三层租赁链、扫描件文字）、昆山花桥（214 份单间产权证清单）、洛阳（授权链、资产管理协议），以及黄石。新增长表抽取 le-023 ~ le-030、律所经验检索 fm-023 ~ fm-030，所库扩到 142 个事项。
实跑标准答案 16/16 = 1.0，空答案 16/16 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| fm-023 | 未通过 | 通过 | 千问：引用了基准日时尚未生效的事项 真实的模型失误：千问引用了 FM-MAT-117，但它写明 2025-06-01 才生效，基准日 2025-03-01 时不能用。 | |
| fm-024 | 通过 | 通过 | — | |
| fm-025 | 通过 | 通过 | — | |
| fm-026 | 通过 | 通过 | — | |
| fm-027 | 通过 | 通过 | — | |
| fm-028 | 通过 | 通过 | — | |
| fm-029 | 通过 | 通过 | — | |
| fm-030 | 通过 | 通过 | — | |
| le-023 | 未通过 | 未通过 | 千问：字段值与标准答案不一致 深度求索：字段值与标准答案不一致 评分不公平：标准答案的行主键写成“ROOM-1001”这种格式，题目没说明；两个模型的 214 行内容逐字段一致，只是主键写成“1001”。 | |
| le-024 | 通过 | 通过 | — | |
| le-025 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 评分不公平：主键格式“CERT-1001”未说明；按室号匹配后 60 行字段全对，合计 3222.60 也对。 | |
| le-026 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 评分不公平（两处）：主键格式“L1-TERM”未说明；且第三层（海屿→白鹭湾）月租金 1040652 元在原文第 101 行明确写出，标准答案却写成“遮盖、为空”，模型抽对了反被判错。 | |
| le-027 | 未通过 | 未通过 | 千问：没有产出可解析的结果文件、字段格式不符约定、声称完整但行对不上、行没对上（漏行）、行没对上（多行）、字段值与标准答案不一致 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 同 le-026：主键格式未说明，第三层租金标准答案有误。千问在 30 分钟内未完成（超时，真实的效率问题）。 | |
| le-028 | 未通过 | 未通过 | 千问：没有产出可解析的结果文件、字段格式不符约定、声称完整但行对不上、行没对上（漏行）、行没对上（多行）、字段值与标准答案不一致 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 题目约定不清：标准答案每个物业 1 行（共 2 行），模型按每张证书 1 行；主键格式“PROP-KS-1001”也未说明。千问超时未完成。 | |
| le-029 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行）、合计数对账未通过 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行）、合计数对账未通过 评分不公平（两处）：主键格式“FL-10”未说明；题目要求把合计放在 payload.total_rooms，评分却只读最外层 total_rooms（千问照题目做反被判错）。另外两个模型都多加了一行“合计”，这一点算模型小问题。 | |
| le-030 | 未通过 | 未通过 | 千问：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 深度求索：声称完整但行对不上、行没对上（漏行）、行没对上（多行） 题目约定不清：标准答案 4 行的划分方式（开发期期限、筹备费、运营期另行约定、空白页）题目没有说明，模型按费用项目自行划分；主键格式也未说明。 |
下表按第八版（修正前）、第九版、第十版（法条统一与问题编号回退）排列。法律推理按分项加权给 0 到 1 之间的分数，不是全过才得分。
代码版本 4933072。新增法律推理任务族 lr-001 ~ lr-010，素材来自真实案卷事实（转租同意、租期二十年上限、租赁登记备案、集体土地表决、划拨用地临时改变用途、授权链缺陷、民法典新旧衔接、三层租赁链）。本族计分权重为 0，标准答案尚未经律师确认，结果仅供参考。
实跑标准答案 10/10 = 1.0，空答案 10/10 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| lr-001 | 0.00 | 0.70 | — 千问运行超时（模型请求长时间无响应），无输出。深度求索结论正确；法条引用为 0 是评分问题（见下）。 | |
| lr-002 | 0.80 | 0.80 | — 两模型结论、中间事实、证据均正确；法条引用为 0 是评分问题：模型写“中华人民共和国民法典”，标准答案写“民法典”，评分未统一法律名称。 | |
| lr-003 | 0.61 | 0.64 | — 法条引用为 0 同上（千问修正名称后为满分）；其余部分有真实失分（第三个子问题结论不全）。 | |
| lr-004 | 0.00 | 0.00 | — 评分不公平：题目没写明问题编号应为 registration_filing，两模型用了别的编号，导致所有分项都匹配不上，一律 0 分。 | |
| lr-005 | 0.00 | 0.12 | — 千问超时无输出。深度求索结论错误，属真实失分（待律师确认标准答案）。 | |
| lr-006 | 0.00 | 0.55 | — 千问超时无输出。深度求索结论正确，中间事实大多未对上，属真实失分（待律师确认）。 | |
| lr-007 | 0.00 | 0.10 | — 评分不公平：题目没写明问题编号应为 allocated_temp_use；深度求索拆成两个编号，全部匹配不上。千问超时。 | |
| lr-008 | 0.10 | 0.10 | — 评分不公平：两模型的结论（未经追认无效）、风险等级（高）、四个中间事实与标准答案完全一致，只因问题编号不同（标准为 auth_chain，题目未写明）而几乎全部记 0。 | |
| lr-009 | 0.00 | 0.67 | — 千问超时无输出。深度求索部分正确，属真实失分（待律师确认）。 | |
| lr-010 | 0.00 | 0.45 | — 千问超时无输出。深度求索部分正确，属真实失分（待律师确认）。 |
修正内容：lr-001、002、007、008、009、010 的题目或标准答案，以及证据核对规则。标准答案 10/10 = 1.0，空答案 10/10 = 0。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| lr-001 | 0.85 | 0.85 | — 修复有效：题面已写明两个问题编号。两模型结论、中间事实、证据、风险等级、对照分全部正确，只剩法条引用为 0（法律名称未统一，评分问题）。 | |
| lr-002 | 0.78 | 0.78 | — 两模型结论正确，中间事实 3/4；法条引用为 0 仍是法律名称未统一。 | |
| lr-003 | 0.00 | 0.64 | — 千问超时。深度求索第三个子问题结论不全，属真实失分；法条引用为 0 是评分问题。 | |
| lr-004 | 0.00 | 0.00 | — 仍不公平：题面没写明问题编号应为 registration_filing；深度求索用 unregistered_lease_validity，结论 valid、风险 low 与标准答案完全一致却得 0。千问超时。 | |
| lr-005 | 0.00 | 0.15 | — 深度求索真实失分：只有村委会同意的一侧应为“无法判断”，模型判为“未经追认无效”；三分之二同意一侧应为“有效”，模型判为“无法判断”。千问超时。 | |
| lr-006 | 0.59 | 0.59 | — 两模型结论正确，中间事实大部分没对上（真实失分为主）；法条引用为 0 是评分问题。 | |
| lr-007 | 0.10 | 0.10 | — 仍不公平为主：题面没写明问题编号 allocated_temp_use，且标准答案只有一个问题，模型拆成两个。另外标准答案结论为“无法判断”（临时建筑专条待律师确认），模型判为无效，这一点属于有争议的真实分歧。 | |
| lr-008 | 0.10 | 0.10 | — 仍不公平：两模型的结论、风险等级、四个中间事实与标准答案完全一致，只因问题编号不是 auth_chain（题面未写明）而得 0.1。另外法条写成“第一百七十一条”与“171”未统一。 | |
| lr-009 | 0.00 | 0.55 | — 千问超时。深度求索中间事实全对，三个子结论只对一个，属真实失分。 | |
| lr-010 | 0.00 | 0.51 | — 深度求索前三个问题全对，根权属问题应为“无法判断”，模型判为“未经追认无效”，属真实失分；中间事实多数未对上。千问超时。 |
修正内容：评分时去掉“中华人民共和国”前缀并把中文条文号转成阿拉伯数字；lr-004、007、008 题面写明唯一问题编号，且评分在单题时按结论内容回退匹配。标准答案与空答案见实跑链。
| 题目 | 考点 | 千问3.8-27B | 深度求索 flash | 未通过原因与判断 |
|---|---|---|---|---|
| lr-001 | 1.00 | 1.00 | — 第十版离线重评满分：法条名称统一后引用得 1；题面已写明问题编号。 | |
| lr-002 | 0.93 | 0.93 | — 离线重评 0.925：结论与法条正确，中间事实仍缺 1/4（真实失分）。 | |
| lr-003 | 未出分 | 0.79 | — 深度求索离线 0.79（法条引用修复后从 0.64 升）；第三个子问题结论不全，属真实失分。千问第九版无答案，待实跑。 | |
| lr-004 | 未出分 | 0.75 | — 单题问题编号回退生效：深度求索从 0 升到 0.75（结论/中间/风险全对）。法条应引民法典 706，模型引了城市房地产管理法 54 等，属真实失分；证据路径也不对。 | |
| lr-005 | 未出分 | 0.15 | — 深度求索 0.15，两个子问题判断弄反，属真实失分。千问待实跑。 | |
| lr-006 | 0.59 | 0.59 | — 两模型约 0.59：结论对，中间事实大多未对上，属真实失分；法条引用仍为 0（未命中必引条文）。 | |
| lr-007 | 0.10 | 0.10 | — 题面已写明 allocated_temp_use，但两模型结论都不是“无法判断”（标准答案因临时建筑专条待律师确认），属真实失分；仍得 0.1（仅证据）。 | |
| lr-008 | 1.00 | 1.00 | — 离线重评满分：问题编号回退 + 法条（民法典/171）统一后，结论与四个中间事实本来就对。 | |
| lr-009 | 未出分 | 0.70 | — 深度求索离线 0.70（法条修复后从 0.55 升）；三个子结论只对一个，属真实失分。千问待实跑。 | |
| lr-010 | 未出分 | 0.54 | — 深度求索离线 0.54：根权属应为“无法判断”，模型判“未经追认无效”；中间事实多数未对上。千问待实跑。 |
题目：本单同时涉及抵押、第三方品牌合同未终止、付款期限三件事，要求从所库里各找一个可复用的先例立场，至少综合 3 个事项。
同类问题还有两处，在第六版修好：指定锚点原文写在“锚点”栏位却只读“引文”栏位（fm-017）；必中事项写成空列表时误读了其他栏位里的排除名单（fm-014）。
题目问：“付款期限应统一六十日，还是反对把历史六十日当政策？”标准答案是 FM-MAT-012，它正好记录了“业务主张统一六十日、法务反对”的冲突，并要求升级。两个模型都正确升级了，但都没把 FM-MAT-012 列入必中事项（深度求索在证据里引用了它）。它们改选了 FM-MAT-101、FM-MAT-102，这是另一组“诉讼组和非诉组现行口径冲突”。所以这道题属于模型选错事项，不算评分器的问题。