V1.0
原合并模型。Module 1–3 主通道已存在,但 Module 4 的完整回答与评价闭环尚未形成。
内容不全没有同条件有效 token 成绩,不能拿它计算优化降幅。先判断 Router 有没有把正确法规送进来,再比较 Codex 与本地 Qwen 的闭卷作答。 本页同时记录修复前模型基线与修复后的目录路由状态,不把旧答案冒充成新结果。
版本成本采用 Farmers Branch 2017 同一纯文本、同一问题、同一 Gold 的闭卷记录;与下方五城市总量分开统计。
原合并模型。Module 1–3 主通道已存在,但 Module 4 的完整回答与评价闭环尚未形成。
内容不全没有同条件有效 token 成绩,不能拿它计算优化降幅。补入冻结 Judge 与 Primary 评价包,建立可复现的 Module 4 全文作答基线;整份法规进入 CLI。
121,389 input89,088 cached · 2,394 output · 72.2% 得分新增纯文本封存 Gold 与隔离闭卷考题。主要改变“怎么考”,没有改变全文喂入架构。
120,750 input较 V1.1 少 639(0.5%),属于近似持平。加入目录预编译、Section Router、Coverage Gate 与枚举 Schema,只把相关完整章节交给 Answerer。
67,001 input较 V1.2 少 53,749(44.5%),得分升至 100%。| 版本 | 输入 tokens | 其中 cached | 输出 tokens | 较上一有效版本 | 较 V1.1 全文 | 同题得分 |
|---|---|---|---|---|---|---|
| V1.0 | 不可比 | — | — | — | — | 内容不全 |
| V1.1 | 121,389 | 89,088 | 2,394 | 基线 | 基线 | 72.2% |
| V1.2 | 120,750 | 89,088 | 2,460 | −639(−0.5%) | −639(−0.5%) | 72.2% |
| V1.3 | 67,001 | 38,400 | 1,749 | −53,749(−44.5%) | −54,388(−44.8%) | 100% |
口径:input_tokens 为 Codex CLI 回执值,cached 是其中的子集,不应再次相加。V1.0 因能力缺失排除;V1.1–V1.3 才构成同题、同源、同 Gold 的有效比较。
目录解析和 Coverage Gate 属于模型之前的确定性控制层。只有证据齐全,Answerer 才能获得调用资格。
把 Markdown 标题编译成可追踪的法规 Section。
按问题选择最小但完整的法规范围。
四项证据齐全才放行;失败时回退搜索二级目录。
Codex 或 Qwen 只读同一证据包并输出结构化答案。
### 及以下;只有 Coverage 不全时才检查 ## 目录,并选择能补齐最多缺失项的单个父 Section。Lakeland 现已命中 4.3 - ACCESSORY STRUCTURES,未增加版本号。Qwen 的低分与 4096 context 截断高度相关。本轮保留原始基线,但不把它当成公平的模型能力结论。
四个可答城市全部严格通过
长证据包发生截断,结果只作配置基线
2014 historical Walton County Land Development Code text
仅依据证据,回答同一住宅地块允许的 accessory apartment 最大数量、单套最大面积、能否出租给非家庭成员,以及能否通过 variation、adjustment 或 waiver 偏离这些要求。每项给出条款编号;无证据时不得推断。
选中范围6.02.00. - ACCESSORY USES
证据包仅 3,014 字符;两种模型均完整提取数量、面积与禁止性规则。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| max_accessory_apartments_per_lot 每个住宅地块最多允许的 accessory apartment 数量 |
1 § 6.02.01 |
1 | 1 |
| accessory_apartment_max_sqft accessory apartment 最大面积(平方英尺) |
800 § 6.02.01 |
800 | 800 |
| rental_to_nonfamily_allowed 是否允许出租给非业主家庭成员 |
否 § 6.02.01 |
否 | 否 |
| variation_adjustment_waiver_allowed 是否允许为容纳 accessory apartment 而获得 variation、adjustment 或 waiver |
否 § 6.02.01 |
否 | 否 |
2025 current Lakeland Land Development Code web text
仅依据证据,回答该结构相对 principal structure front façade 的最小后移距离、interior side setback、rear setback 和最大高度。数值分别使用英尺;每项给出条款编号;无证据时不得推断。
选中范围4.3 - ACCESSORY STRUCTURES
目标条款位于二级标题“## 4.3”。新增目录回退后已选中完整 4.3 Section,Coverage 由 FAIL 变为 PASS;模型尚未用新证据重跑。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| front_behind_facade_min_ft 相对 principal structure front façade 的最小后移距离(英尺) |
3 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
| interior_side_setback_ft RA-3 interior side setback(英尺) |
3 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
| rear_setback_ft RA-3 rear setback(英尺) |
3 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
| max_height_ft 最大高度(英尺) |
12.5 § Table 4.3-4 |
修复后未重跑 | 修复后未重跑 |
2026 current Riverside Zoning Code Title 19 web text
仅依据证据,回答 required side/rear yard area 的最大覆盖率、single-story interior side/rear setback、该地块上 accessory structure 的最大 floor area,以及 single-story accessory structure 的最大总体高度。每项给出条款编号;无证据时不得推断。
选中范围Chapter 19.440 - ACCESSORY BUILDINGS AND STRUCTURES
Router 找到完整 Chapter 19.440;Codex 全对。Qwen 在当前 4096 context 配置下返回四项 unresolved。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| required_yard_coverage_max_percent required side/rear yard setback area 最大覆盖率(百分比) |
35 § 19.440.030 |
35 | 未解析 |
| single_story_side_rear_setback_ft single-story interior side/rear setback(英尺) |
5 § 19.440.030 |
5 | 未解析 |
| lot_under_half_acre_max_floor_area_sqft 小于半英亩的 R-1 地块最大 floor area(平方英尺) |
750 § 19.440.030 |
750 | 未解析 |
| single_story_height_max_ft single-story accessory structure 最大总体高度(英尺) |
20 § 19.440.030 |
20 | 未解析 |
2011 historical Miami Gardens Land Development Code web text
仅依据证据,回答通常的 front property line 最小距离、满足例外时仍不得低于的绝对 front setback、accessory buildings 对 rear yard 的最大占用比例,以及 principal building 不存在时能否单独先取得并施工 accessory-building permit。每项给出条款编号;无证据时不得推断。
选中范围ARTICLE X. - ACCESSORY USES AND STRUCTURES
Router 选中了整个 Article X,证据达到 53,741 字符。Codex 全对;Qwen 输入截断后丢失题目字段合同。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| default_front_property_setback_ft 通常的 front property line 最小距离(英尺) |
75 § 34-312 |
75 | 未解析 |
| exception_absolute_front_setback_min_ft 例外情况下绝对不得低于的 front setback(英尺) |
50 § 34-312 |
50 | 未解析 |
| rear_yard_coverage_max_percent accessory buildings 最大 rear yard 占用比例(百分比) |
30 § 34-312 |
30 | 未解析 |
| accessory_permit_before_principal_allowed principal building 不存在且未同步许可/施工时,能否先单独取得 accessory-building permit |
否 § 34-312 |
否 | 未解析 |
2011 historical West Park Code of Ordinances web text
仅依据证据,回答非临街 side/rear yard 可缩减到的最小距离、one-family plot 上 accessory building 的最大层数、one-story accessory building 与其他 principal/accessory building 的最小间距,以及全部 accessory buildings 的 aggregate floor area 最多占 plot area 的百分比。每项给出条款编号;无证据时不得推断。
选中范围ARTICLE V. - DISTRICT REGULATIONS · Sec. 42-202. - Permitted accessory uses for hotels, motels and community residential facilities.
Router 选中 72,047 字符的整个 Article V,并混入无关 Sec. 42-202。Codex 全对;Qwen 截断后围绕尾部无关条款作答。
| 检查项 | Gold | Codex | Qwen |
|---|---|---|---|
| nonstreet_side_rear_yard_min_ft 非临街 side/rear yard 最小距离(英尺) |
5 § 42-197 |
5 | 未解析 |
| one_family_accessory_max_stories one-family plot 上 accessory building 最大层数 |
1 § 42-197 |
1 | 未解析 |
| one_story_building_separation_min_ft one-story accessory building 与其他 building 最小间距(英尺) |
10 § 42-197 |
10 | 未解析 |
| aggregate_floor_area_max_plot_percent aggregate accessory floor area 最大 plot area 百分比 |
5 § 42-197 |
5 | 未解析 |