Next-Gen Zoning Extractor · Evidence Audit

五城市法规证据路由评测

先判断 Router 有没有把正确法规送进来,再比较 Codex 与本地 Qwen 的闭卷作答。 本页同时记录修复前模型基线与修复后的目录路由状态,不把旧答案冒充成新结果。

Model V1.3Q2 参数抽取20 个 Gold 字段2026-07-24 21:40:26.399006 UTC
Router Coverage5/5修复前 4/5 · 现在 5/5
Codex · 可答城市4/516/16 数值 · 16/16 引用
Qwen · 可答城市1/5当前 Ollama context = 4096
Codex 有效 Input101,627仅统计 Coverage PASS 的四城

V1.0 → V1.3 到底改了什么

版本成本采用 Farmers Branch 2017 同一纯文本、同一问题、同一 Gold 的闭卷记录;与下方五城市总量分开统计。

能力基线

V1.0

原合并模型。Module 1–3 主通道已存在,但 Module 4 的完整回答与评价闭环尚未形成。

内容不全没有同条件有效 token 成绩,不能拿它计算优化降幅。
全文基线

V1.1

补入冻结 Judge 与 Primary 评价包,建立可复现的 Module 4 全文作答基线;整份法规进入 CLI。

121,389 input89,088 cached · 2,394 output · 72.2% 得分
评测升级

V1.2

新增纯文本封存 Gold 与隔离闭卷考题。主要改变“怎么考”,没有改变全文喂入架构。

120,750 input较 V1.1 少 639(0.5%),属于近似持平。
当前有效版本

V1.3

加入目录预编译、Section Router、Coverage Gate 与枚举 Schema,只把相关完整章节交给 Answerer。

67,001 input较 V1.2 少 53,749(44.5%),得分升至 100%。
版本输入 tokens其中 cached输出 tokens较上一有效版本较 V1.1 全文同题得分
V1.0不可比内容不全
V1.1121,38989,0882,394基线基线72.2%
V1.2120,75089,0882,460−639(−0.5%)−639(−0.5%)72.2%
V1.367,00138,4001,749−53,749(−44.5%)−54,388(−44.8%)100%

口径:input_tokens 为 Codex CLI 回执值,cached 是其中的子集,不应再次相加。V1.0 因能力缺失排除;V1.1–V1.3 才构成同题、同源、同 Gold 的有效比较。

链路先后关系

目录解析和 Coverage Gate 属于模型之前的确定性控制层。只有证据齐全,Answerer 才能获得调用资格。

01

解析目录

把 Markdown 标题编译成可追踪的法规 Section。

02

路由完整 Section

按问题选择最小但完整的法规范围。

03

Coverage Gate

四项证据齐全才放行;失败时回退搜索二级目录。

04

Answerer

Codex 或 Qwen 只读同一证据包并输出结构化答案。

已原地修复 V1.3:普通路径仍优先搜索 ### 及以下;只有 Coverage 不全时才检查 ## 目录,并选择能补齐最多缺失项的单个父 Section。Lakeland 现已命中 4.3 - ACCESSORY STRUCTURES,未增加版本号。

模型对照

Qwen 的低分与 4096 context 截断高度相关。本轮保留原始基线,但不把它当成公平的模型能力结论。

Codex · gpt-5.6-sol / low

四个可答城市全部严格通过

数值
16/16
引用
16/16
严格分
100%

本地 Qwen3 · 30B / 4096 ctx

长证据包发生截断,结果只作配置基线

数值
4/16
引用
4/16
严格分
31.2%

逐城市证据审计

2014 historical Walton County Land Development Code text

Alys Beach, FL

证据覆盖

仅依据证据,回答同一住宅地块允许的 accessory apartment 最大数量、单套最大面积、能否出租给非家庭成员,以及能否通过 variation、adjustment 或 waiver 偏离这些要求。每项给出条款编号;无证据时不得推断。

RouterPASS
证据字符3,014
缩减99.76%
Codex100.0%
Qwen100.0%

选中范围6.02.00. - ACCESSORY USES

证据包仅 3,014 字符;两种模型均完整提取数量、面积与禁止性规则。

展开四项答案与引用
检查项GoldCodexQwen
max_accessory_apartments_per_lot
每个住宅地块最多允许的 accessory apartment 数量
1
§ 6.02.01
1 1
accessory_apartment_max_sqft
accessory apartment 最大面积(平方英尺)
800
§ 6.02.01
800 800
rental_to_nonfamily_allowed
是否允许出租给非业主家庭成员

§ 6.02.01
variation_adjustment_waiver_allowed
是否允许为容纳 accessory apartment 而获得 variation、adjustment 或 waiver

§ 6.02.01

2025 current Lakeland Land Development Code web text

Lakeland, FL

Router 已修复

仅依据证据,回答该结构相对 principal structure front façade 的最小后移距离、interior side setback、rear setback 和最大高度。数值分别使用英尺;每项给出条款编号;无证据时不得推断。

RouterFAIL → PASS
证据字符21,514
缩减98.15%
Codex未重跑
Qwen未重跑

选中范围4.3 - ACCESSORY STRUCTURES

目标条款位于二级标题“## 4.3”。新增目录回退后已选中完整 4.3 Section,Coverage 由 FAIL 变为 PASS;模型尚未用新证据重跑。

展开四项答案与引用
检查项GoldCodexQwen
front_behind_facade_min_ft
相对 principal structure front façade 的最小后移距离(英尺)
3
§ Table 4.3-4
修复后未重跑 修复后未重跑
interior_side_setback_ft
RA-3 interior side setback(英尺)
3
§ Table 4.3-4
修复后未重跑 修复后未重跑
rear_setback_ft
RA-3 rear setback(英尺)
3
§ Table 4.3-4
修复后未重跑 修复后未重跑
max_height_ft
最大高度(英尺)
12.5
§ Table 4.3-4
修复后未重跑 修复后未重跑

2026 current Riverside Zoning Code Title 19 web text

Riverside, CA

证据覆盖

仅依据证据,回答 required side/rear yard area 的最大覆盖率、single-story interior side/rear setback、该地块上 accessory structure 的最大 floor area,以及 single-story accessory structure 的最大总体高度。每项给出条款编号;无证据时不得推断。

RouterPASS
证据字符8,139
缩减99.41%
Codex100.0%
Qwen25.0%

选中范围Chapter 19.440 - ACCESSORY BUILDINGS AND STRUCTURES

Router 找到完整 Chapter 19.440;Codex 全对。Qwen 在当前 4096 context 配置下返回四项 unresolved。

展开四项答案与引用
检查项GoldCodexQwen
required_yard_coverage_max_percent
required side/rear yard setback area 最大覆盖率(百分比)
35
§ 19.440.030
35 未解析
single_story_side_rear_setback_ft
single-story interior side/rear setback(英尺)
5
§ 19.440.030
5 未解析
lot_under_half_acre_max_floor_area_sqft
小于半英亩的 R-1 地块最大 floor area(平方英尺)
750
§ 19.440.030
750 未解析
single_story_height_max_ft
single-story accessory structure 最大总体高度(英尺)
20
§ 19.440.030
20 未解析

2011 historical Miami Gardens Land Development Code web text

Miami Gardens, FL

证据覆盖

仅依据证据,回答通常的 front property line 最小距离、满足例外时仍不得低于的绝对 front setback、accessory buildings 对 rear yard 的最大占用比例,以及 principal building 不存在时能否单独先取得并施工 accessory-building permit。每项给出条款编号;无证据时不得推断。

RouterPASS
证据字符53,741
缩减95.8%
Codex100.0%
Qwen0.0%

选中范围ARTICLE X. - ACCESSORY USES AND STRUCTURES

Router 选中了整个 Article X,证据达到 53,741 字符。Codex 全对;Qwen 输入截断后丢失题目字段合同。

展开四项答案与引用
检查项GoldCodexQwen
default_front_property_setback_ft
通常的 front property line 最小距离(英尺)
75
§ 34-312
75 未解析
exception_absolute_front_setback_min_ft
例外情况下绝对不得低于的 front setback(英尺)
50
§ 34-312
50 未解析
rear_yard_coverage_max_percent
accessory buildings 最大 rear yard 占用比例(百分比)
30
§ 34-312
30 未解析
accessory_permit_before_principal_allowed
principal building 不存在且未同步许可/施工时,能否先单独取得 accessory-building permit

§ 34-312
未解析

2011 historical West Park Code of Ordinances web text

West Park, FL

证据覆盖

仅依据证据,回答非临街 side/rear yard 可缩减到的最小距离、one-family plot 上 accessory building 的最大层数、one-story accessory building 与其他 principal/accessory building 的最小间距,以及全部 accessory buildings 的 aggregate floor area 最多占 plot area 的百分比。每项给出条款编号;无证据时不得推断。

RouterPASS
证据字符72,047
缩减96.11%
Codex100.0%
Qwen0.0%

选中范围ARTICLE V. - DISTRICT REGULATIONS · Sec. 42-202. - Permitted accessory uses for hotels, motels and community residential facilities.

Router 选中 72,047 字符的整个 Article V,并混入无关 Sec. 42-202。Codex 全对;Qwen 截断后围绕尾部无关条款作答。

展开四项答案与引用
检查项GoldCodexQwen
nonstreet_side_rear_yard_min_ft
非临街 side/rear yard 最小距离(英尺)
5
§ 42-197
5 未解析
one_family_accessory_max_stories
one-family plot 上 accessory building 最大层数
1
§ 42-197
1 未解析
one_story_building_separation_min_ft
one-story accessory building 与其他 building 最小间距(英尺)
10
§ 42-197
10 未解析
aggregate_floor_area_max_plot_percent
aggregate accessory floor area 最大 plot area 百分比
5
§ 42-197
5 未解析