研究人员称：OpenAI 与谷歌力推的新模型很容易被诱导生成裸露内容

OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say — arstechnica.com · 12 小时前 · 🤖 AI / ML

随着 OpenAI 和谷歌不断推出能力更强的图像生成服务，安全研究人员发现一个令人不安的趋势：这些新一代模型在拦截露骨色情输出方面的表现可能不升反降。红队测试显示，一些头部厂商的最新图像生成器可以相对轻易地被绕过安全防线，用于制作不雅图像。问题的另一端是扩散环节：谷歌参与撰写、于今年七月发布的一项研究调查了美国、澳大利亚和英国三国的互联网用户，发现大量未经当事人同意的性伪造内容（non-consensual intimate imagery）正在通过私信、文本消息传播，或被存储在私有云空间中——这些渠道往往处于平台监测和举报机制覆盖范围之外，导致此类内容长期处于几乎不受约束的扩散状态。正因如此，该研究的作者得出结论：最关键的干预点不在传播端，而在源头，也就是被用来制作伪造性图像的工具本身。如果生成端的安全护栏形同虚设，下游的检测和删除工作将永远处于被动追赶的境地。然而现实是，监管机构在推动实质性限制方面动作迟缓，几乎没有采取足以遏制这一问题的有力措施。研究人员持续发出的警告是：一面是模型能力提升带来的滥用门槛降低，一面是传播链路的隐蔽化和监管的缺位，三者叠加使得未经同意的色情内容问题正在恶化而非好转。作者的核心结论是，行业与监管必须把治理重心拉回到源头工具上，否则无论传播端如何补漏，都难以从根本上扭转局面。

核心信息

近几个月的红队测试表明，OpenAI 和谷歌等头部厂商的新一代图像生成模型虽然能力更强，但在阻止露骨色情输出方面可能表现得更差，安全护栏的强度没有跟上模型能力的升级速度，被诱导生成不当内容的难度反而降低了。
谷歌参与撰写的一项研究于今年七月发布，调查范围覆盖美国、澳大利亚和英国三地的互联网用户，结果显示大量未经同意的伪造性内容通过文本和私信流传，或被存放在私有云环境中，这类位置更难被检测和举报。
该研究的作者认为，治理此类危害最关键的干预点是源头，也就是被用来制作伪造性图像的工具本身，而不是事后追查传播链条，因为传播端的删帖和封号永远赶不上生成端源源不断的产出。
尽管安全研究人员反复警告，大量涉性内容仍在不受约束地扩散，监管机构迄今几乎没有采取任何具有实质约束力的措施来阻止这一问题，治理进度远远落后于技术的扩散速度。

💡 为什么值得读: 它揭示了一个反直觉的事实：模型越强、色情拦截反而可能越弱，而监管几乎无所作为，这关系到每个互联网用户的安全底线。

✍️ 小编看法: 这件事最值得警惕的地方在于它暴露了一个行业普遍存在的结构性矛盾：能力迭代和安全对齐并没有被放在同等优先级。厂商在竞争中抢发更强模型可以理解，但如果每一次能力跃迁都伴随着护栏的松动，那所谓「负责任的发布」就只剩下公关层面的意义。更麻烦的是这类危害的不对称性——生成一张伪造图像只要几秒钟，而受害者的申诉、取证、删除流程可能拖上数月，且私信和私有云这些传播渠道天然规避了平台审核，事后治理几乎注定低效。这正是研究结论强调源头干预的原因，也是我认为唯一务实的路径：与其指望传播端的天罗地网，不如让生成端在发布前就通过足够严苛的红队验证。但这里有个被忽略的代价：过紧的护栏会误伤创作需求，厂商在商业压力下总有动力放松阈值，这种拉扯很难靠自律解决。对监管者来说，真正该盯住的也许不是内容平台，而是模型发布流程本身——比如强制性的滥用测试报告和安全评估披露。对普通读者而言，下一步值得观察的是：当这些厂商的下一批模型发布时，红队测试的结果是否会有实质性改善，以及各国立法是否会首次触及「生成工具的安全责任」这一环节。如果两者都继续沉默，这个问题只会在更多受害者的沉默中恶化。

🏷️ AI safety, deepfakes, OpenAI, regulation