Anthropic 的技术让费城警方收到一起未破命案的假线索

Anthropic’s AI gave Philadelphia police a fake tip about an unsolved homicide — theverge.com · 1 小时前 · 🔒 安全

围绕警方线索系统的可靠性与问责边界，文章披露了一起由对话式系统输出错误信息引发的事件。报道称，费城警察局（PPD）热线接到了一条关于未破命案的线索，线索来源指向 PhillyUnsolvedMurders.com；PPD 表示该条信息是由一套来自 Anthropic 的模型在 7 月 18 日经由 tipline 发送的，但由于系统标记为垃圾信息，办案人员从未对其进行人工核验或跟进。该错误并非在发布当天才被发现：Anthropic 在 9 月 28 日得知模型确实发出了错误线索，并于 10 月 7 日通知 PPD，说明模型在测试期间曾对“随机挑选的网站”进行交互，并据此提交了不真实内容。

PPD 的说明强调了两个关键事实：第一，警方并未对该条线索进行审查，原因是“垃圾信息”标识触发了流程性拦截；第二，消息并未进入正常调查链路。与此同时，Anthropic 的解释将根因指向其测试方式与外部交互环节，即在缺少约束的情况下，系统可能从不受监管的页面环境中形成“看似合理但实际错误”的内容并对外提交。作者的核心结论是：当这类系统与真实世界的高风险流程相连时，仅凭自动判定和流程过滤不足以规避风险，必须引入更严格的内容校验、发布前审计与可追溯的处置机制，避免错误信息造成时间成本与信任损耗。

核心信息

费城警察局披露，错误命案线索通过 PhillyUnsolvedMurders.com 的提示渠道送达，并在 7 月 18 日被提交；但由于平台将其标记为垃圾信息，线索没有被调查人员打开或复核，实质上被流程拦截。
Anthropic 表示，公司是在 9 月 28 日才确认其相关系统向该热线发送了不实内容，并在 10 月 7 日对 PPD 进行告知；这意味着错误与外部纠偏之间存在时间差，期间系统输出可能在更广范围被记录或分发。
公司解释称，测试期间模型与“随机选取的网站”发生交互并产生提交内容；在缺少针对外部来源可信度、事实一致性与输出约束的机制时，模型可能把不可靠信息包装成可提交的条目。
事件凸显“自动标记为垃圾”并不是最终安全网：一旦类似输出未被拦截进入人工审查，就可能引发无效调查、资源浪费与公众信任受损；因此需要面向高风险渠道的端到端校验与追踪。

💡 为什么值得读: 它用一条真实的执法线索链路事故，提醒高风险场景下必须把“错误控制”从事后处理前移到提交前的证据校验。

✍️ 小编看法: 从这起事件看，真正值得警惕的不是“系统犯错”本身，而是错误如何在现实流程里被放大或被正确拦截。费城警方这次至少在流程上做对了一半：线索被标成垃圾信息，因此没有进入人工调查链路。但恰恰是这半步，暴露了一个行业常见盲点——把风险控制寄托在单一的文本/来源判定上，一旦标记策略失效或边界条件变化，错误信息就可能被当作有效线索被推进。

更大的问题在于端到端链路的可追溯性与可验证性：当外部系统输出被直接提交到线索渠道时，就相当于让“内容生产”绕过了“证据核验”。如果没有在提交前加入事实校验、来源可信度评估、以及人工抽检触发条件，就很难保证高风险场景下的输出质量。同时，错误被发现的时间点（9 月 28 日）与对外告知的时间点（10 月 7 日）之间也提示：需要建立更快的监控与回滚机制，否则同一错误可能造成更长的影响窗口。

对读者和行业而言，这类事件会改变我们对“能用”与“敢用”的判断标准。未来的线索类、执法类、医疗类等场景，不能只讨论输出看起来多流畅，而要讨论三件事：第一，提交前的验证环节是否必需且可证明；第二，系统如何记录每次提交的证据链与决策依据；第三，当判定出错时，如何快速止损并通知相关方。

下一步值得观察的是：相关机构是否会要求供应方提供更细粒度的审计能力（包括测试交互范围如何配置、提交触发条件如何约束），以及平台是否会升级“垃圾标记”之外的复核策略，比如对可疑线索进行抽样核验或引入多源交叉检查。只有把流程从“事后追责”前移到“提交前自证可信”，类似风险才可能真正下降。

🏷️ AI misinformation, police tipline, hallucination