220万条美国城市法律被一夜「扒光」!AI研究者狂扫700万页PDF:你家能不能养鸡,从此全透明

Page content

220万条美国城市法律被一夜「扒光」!AI研究者狂扫700万页PDF:你家能不能养鸡,从此全透明 by 机器浪潮

试想一件事。

你住在美国某个城市。你想在后院搭个工具棚。你去市政府网站查"要不要许可",找到了一个2008年建的站点,点了十七层嵌套菜单,下载了一份437页的PDF。你在搜索框里敲"工具棚"——出来的是1998年"严禁在工具棚内存放易燃液体"和2005年"工具棚外墙颜色须与主建筑一致"。到底要不要图纸审批?没写。

你放弃了。你直接搭了。六个月后,邻居投诉,你收到一张1500美元罚单。

这不是虚构。这是任何一个美国居民都有可能撞上的现实。而直到2026年6月19日之前,没有任何AI系统能够替你查清楚这条规矩。

因为那些真正管着你日常生活的法律——国会山上的联邦法、州议会的州法不算——你所在城市和县的地方法条例,从头到尾就没有进过任何一个统一的、机器可读的数据库。

直到一个叫Joe Barrow的人,决定把它们全部"扒出来"。

2026年6月19日夜里,这位NLP研究者在X上甩出一条论文发布帖,配了一张布满覆盖点的美国地图、几张GPU集群全速运转的照片,和一个让法律圈和AI圈同时震了一下的数字:220万条。

220万条。单位是"条法律"。全是城市和县的本地条例——管你后院能不能搭棚子、短租要不要许可、晚上几点之后不能放音乐、能不能无证骑ATV的那种。此前它们散落在全美几千个商业法律出版网站的深处,格式五颜六色,没有统一API,没有批量下载入口,普通人查一条都能在层层嵌套菜单里翻到怀疑人生。

Joe Barrow和加州大学伯克利分校的Denis Peskoff团队,用一群GPU、一个10亿参数的OCR模型,和一份"把所有PDF都跑一遍OCR"的蛮力决心,把这220万条法从700万页PDF里硬掏了出来。数据集挂在Hugging Face上,论文放在arXiv上,7个训练好的分类和评分模型全部开源。任何人下载就能用。

在此之前,"美国每一条法律都是公开的"是一句正确的废话——法理上对,实际上没用。Joe团队的LOCUS-v1第一次让这句话落了地。

tweet_01_barrowjoseph_text(分段1)tweet_01_barrowjoseph_text(分段2)

▲ Joe Barrow的主发布帖:"美国每一条法律在技术上都是公开的。但实际上并非如此,直到现在。"帖子获得6761赞、1397转推、112万浏览。

700万页PDF,藏在几千个网站深处

要理解这件事有多离谱,得先看一眼美国的法律体系长什么样。

联邦法和州法,早就被人整理成机器可读语料库了。研究者想做LLM实验、法律检索系统,随手就能找到结构化数据。但联邦法和州法管的事情,离普通人的日常生活其实有点远。

真正卡住日常的规则,全在县和市的条例里。后院能不能搭棚子,出租房要不要安全许可,养的鸡半夜打鸣邻居能不能投诉——答案全写在本地条例里,不写在联邦法典里。

问题是,这些本地条例的"存储方式"堪称一场灾难。

全美约9239个市县的法律文件,分散在Municode、American Legal Publishing、Code Publishing、eCode360等几十个不同的商业法律出版平台上。每个平台的网页结构不一样,PDF的组织方式不一样,有的要登录才能看,有的后台动态组装页面,有的文件名全是随机字符串。你想批量下载"全美所有城市关于养鸡的法律"?任何一个平台都不会给你这个功能。你一个一个手动点?点一个礼拜也不一定点完一个县。

这就形成了一个非常荒诞的状况:最高法院的判例(Georgia v. Public.Resource.Org)白纸黑字写了,法律不受版权保护,法律属于公共领域。但在实际中,普通人想查一条本地法规,要么翻那个可能十年没更新过的市政官网,要么花钱买商业数据库的订阅,要么——绝大多数人选择了——压根不查。

Joe Barrow团队做的事情,就是把这个局面用最笨也最有效的方式捅穿:给每个平台写专用爬虫,处理登录墙、反爬、动态PDF组装、文件名去重,把能拿到的PDF全部拖回来。少数自建系统实在爬不动的,手动下载补齐。最终拉回9239份PDF,合计约80GB,700万页。

tweet_02_barrowjoseph_text

▲ Joe展示LOCUS-v1的地理覆盖:数据集覆盖了美国大多数人口,涵盖分区、噪音、住房法规等所有类别。

一页三毛钱,把700万页全OCR了

拿到PDF只是起点。真正的难题在后面:这700万页PDF的格式碎到什么程度?有的是电子排版直接导出的,有的是扫描件图片,有的双栏布局,有的表格嵌在文字中间,有的页眉页脚每页都不一样。写一个通用解析器来读所有这些格式——基本不可能。

Joe的选择非常暴力:全部OCR。

"When all the laws come in heterogeneous formats? To me the obvious answer is: OCR it all!"

「当所有法律文件格式都不一样的时候,对我来说,最直接的答案就是:全部OCR掉!」

他们用了LightOnIO的LightOnOCR-2-1B,一个只有10亿参数的视觉语言模型。模型专门在大规模PDF页面上微调过,阅读顺序、表格识别、双栏排版都能搞定。逐页输入PDF图像,输出统一格式的Markdown文本。

700万页是什么概念?没有Modal提供的GPU集群和算力资助,这个量级在个人电脑上要跑到天荒地老。而在Modal的并行调度下,他们以约每千页0.30美元的价格把整个流程跑完了。作为参照,AWS Textract的报价是每千页1.50美元——贵了五倍。

OCR跑完之后是清洗工程:去掉每页重复的页眉页脚,把跨页被切断的段落和表格接回来,按章节编号把内容切成一条一条独立的"法条"chunk,然后判断每条是实质规则、执法条款、背景说明还是流程描述。

tweet_04_barrowjoseph_text(分段1)tweet_04_barrowjoseph_text(分段2)

▲ Joe展示Modal集群的GPU运转情况,公开成本明细:每千页约0.30美元,远低于AWS Textract的1.50美元。

最终发布的数据集LOCUS-v1,包含2,211,516个结构化文本块,覆盖美国3,144个县中的2,309个——人口覆盖率约94%。每个条目带原文字段、元数据字段、分类标签和四维度评分,全部打包成Parquet格式放在Hugging Face上。

page_01_arxiv_abs

▲ arXiv论文《Freeing the Law with LOCUS: A Local Ordinance Corpus for the United States》于2026年6月17日提交。四位作者,CC BY 4.0开放许可。

四条标尺,给220万条法律挨个"量一遍"

光把文字掏出来还不够。如果220万条法律只是一大坨自由文本,研究者还是没法做系统比较。Joe团队想要的,是把法律变成可以定量分析的东西。

他们设计了四个维度,每条法律都在这四个维度上被打分:

Opacity(不透明度):这条法律普通人读起来有多费劲?措辞是不是故意绕来绕去的?

Paternalism(父权主义):是在"为你好"而限制你,还是在保护他人/社会公共利益?比如"16岁以下未成年人参加节日活动须有成年人陪同"——典型的高父权条款。

Enforcement Discretion(执法裁量权):官员执法时有多大自由解释空间?条文写"shall"还是"may",差别海了去了。

Problem Salience(问题显著性):法律文本把这件事说得有多严重、多急迫?"应立即采取行动"和"宜适当关注"之间,隔着整条光谱。

打分方法结合了大模型和高效编码器:先用GPT-5.4-nano对10万条样本做零样本标注,训练ModernBERT分类器自动处理全部220万条;同时用大模型做20万次"两两比较"(这条和那条,哪个更"父权"?),把比较结果灌进TrueSkill算法——一个从电竞排名系统里借来的方法——算出每条法在四个维度上的相对强弱,再训练ModernBERT回归器学会直接给新法律打分。最终回归器与原始评分的Pearson相关系数在0.82到0.94之间。

TrueSkill这个思路的灵感来源也很有意思:@TheStalwart的Havelock.ai项目用同样的"LLM两两比较+TrueSkill"方法给文本"口语化程度"评分。Joe直接把这个框架平移到了法律领域,只是把打分维度换成了不透明度、父权主义、执法裁量、问题显著性。

tweet_05_barrowjoseph_text(分段1)tweet_05_barrowjoseph_text(分段2)

▲ 四个评分维度详解:父权主义、不透明度、执法裁量权、问题显著性。团队用TrueSkill算法对全部220万条法律完成了系统打分。

"加州和佛州,你们得把法律写成人话"

全国数据一跑通,差异立刻跳了出来。

佛罗里达州的法律不透明度全美最高。加州紧随其后。Joe在帖子里直接点名:

"California and Florida, you need to get your shit together so people can actually understand your laws! And Ohio and West Virginia, wtf is going on with how you run people's lives??"

「加州和佛罗里达,你们得把事情理顺了,让人们真正能看懂你们的法律!还有俄亥俄和西弗吉尼亚,你们到底是怎么管理人们生活的??」

县和市之间也出现了系统性的功能分化:县级法典里zoning(土地使用分区)的篇幅明显更多,市级法典则更集中在nuisance(滋扰)和日常公共秩序上。背后恰好对应着美国治理体系中的真实权力分工——县管土地开发,市管邻里秩序。

论文和线程里的可视化还揭示了另一个发现:美国法律文件有高度稳定的文档骨架。第一章几乎总是"General Provisions",最后一章几乎总是"Penalties"或"Enforcement"。这种结构一致性意味着,模型可以学会自动理解法律文档的骨骼,未来甚至能跨辖区自动对齐和比较——比如一眼看出凤凰城和圣安东尼奥在"后院养殖"这件事上,到底是哪个条款限制了居民的权利。

tweet_06_barrowjoseph_text

▲ Joe直接点名批评:加州、佛州法律不透明度全美最高;俄亥俄和西弗吉尼亚在"管理人民生活"维度上表现异常。

为什么到现在才有人做成

算法并没有多深奥。真正挡路的,是工作量——大到学术界的激励机制完全不鼓励这种"搬砖"。

要写几千个平台专用的爬虫。PDF格式极度碎片化,传统OCR效果差且贵。700万页的规模,几年前批处理的算力成本够吃掉一个博士生几年的研究经费。做完这些,短期内也发不了顶会——因为这属于"基础设施建设",不是"方法创新"。

Joe团队能做成,靠的是三个条件在2026年恰好同时到位:轻量级视觉语言模型成熟了(LightOnOCR-2-1B只有1B参数,处理质量却足够好),低成本批处理平台就绪了(Modal的GPU集群加算力资助),高效编码器模型出现了(Answer.ai的ModernBERT,蒸馏后可以快速完成大规模分类和回归)。

更关键的是,有人愿意花时间把脏活累活干到底——而且把数据集、模型、代码全部开源,不设门槛。

page_02_hf_dataset

▲ Hugging Face数据集查看器中的真实数据样例。每条法律都有原文、元数据、分类标签和四维评分,总共221万行,Parquet格式可直接下载。

220万条法律开了闸,接下来呢

LOCUS-v1放出来不到一周,社区已经开始讨论具体怎么用了。

最直观的场景:本地法专用搜索引擎。过去你想知道"在我这个城市,后院搭棚要不要许可",得去翻一个可能还是2008年建的市政网站,在几十层嵌套里找个PDF,再在几百页PDF里搜关键词。现在有了结构化文本外加嵌入模型,输入你的地址,AI一秒召回所有相关的本地法条,再用LLM把它翻译成正常人话。

再往前走一步:合规工具可以自动化。短租平台拿它判断一个城市对Airbnb的具体限制,建筑软件自动提取每个地方的施工许可费用和截止日期,保险公司把本地法规差异纳入精算模型。

更让研究者兴奋的是全国尺度的比较分析。同一个政策——无证驾驶ATV怎么罚——在不同城市的写法能差多远。是否存在大量复制粘贴的"模板法条",背后可能是游说集团在全国推动统一立法文本。220万条法律的存在,让这类问题第一次有了可计算的数据基础。

Joe自己在回复区给出了很实操的建议:先用嵌入模型(ColBERT之类)做粗筛召回相关法条,再用LLM逐条判断和分类,最后跟地理数据、人口统计join起来做交叉分析。

当然,数据集有它的边界:当前快照,法律每天在变;OCR有小概率出错;harmonized简化版不能替代最终的法律层级权威;覆盖率很高但不是100%。所有这些限制,论文和作者都坦然写在了文章里。

这也正好说明开源数据集的价值所在——有局限就坦然标注出来,然后让整个社区来迭代。

试想一下那个终局:AI实时监测全美每个县市的法律变化,任何一条新条例通过后几分钟内就被纳入全国数据库,违宪的、互相矛盾的、过度宽泛的地方条款被自动检测和标记。"法治"这件事的运行方式,将不再取决于你恰好住在哪个城市、那个城市的官员有没有按时上传更新。

Joe Barrow在论文结尾写的最后一句,也许是最有分量的注脚:

"Georgia v. Public.Resource.Org confirmed that the law belongs to the people. LOCUS just made it possible for them to actually read it, at scale, for the first time."

「乔治亚州诉Public.Resource.Org案的判决确认了法律属于人民。LOCUS做的,是第一次让人们真正能在全国尺度上读到它。」

220万条城市法律被"扒光"的这一刻,那句古老的法律格言——"不知法者不免责"——也第一次有了可以被系统性检验的数据基础。

tweet_08_barrowjoseph_text

▲ Joe线程收尾帖:论文、数据集、模型全部开放下载,附对Modal算力支持的致谢。获726赞、665书签。


原文链接