在线AI教程 / AI入门
[OpenAI] 社区安全报告和针对青少年的新保护
社区安全报告和针对青少年的新保护 ChatGPT 是全球使用最广泛的 AI 产品之一,我们已投入构建了业界最先进的体系,用于检测潜在危害、审查可疑活动,并升级处置可信的威胁。为进一
社区安全报告和针对青少年的新保护
ChatGPT 是全球使用最广泛的 AI 产品之一,我们已投入构建了业界最先进的体系,用于检测潜在危害、审查可疑活动,并升级处置可信的威胁。为进一步推进这方面的工作,我们宣布两件事:一份新的社区安全报告(Community Safeguards Report),以及针对未成年人的枪械内容施加更多限制。
守护社区安全始终是 OpenAI 的首要优先事项。我们的工作包括把迫在眉睫的暴力威胁提请执法部门注意,2026 年第三季度我们共向执法部门通报了 200 多起。这些通报正在为瓦解暴力图谋带来 积极的 影响,我们也会继续依靠心理健康与行为学专家帮助我们评估棘手个案。
我们认识到,AI 公司扮演着独特的角色,需要与执法部门、家庭成员、心理健康专业人士和政策制定者并肩工作——他们带来了关键的权威、语境和现实世界的触达能力。我们致力于把这一角色发挥到最大:持续强化我们的体系、分享我们学到的东西,并与那些最有条件在现实世界中采取行动的人直接合作。
OpenAI 的社区安全报告
我们一直在强化为保护人与社区所采取的措施。这意味着既要建立坚固的安全护栏,也要就它们的效果如何、我们正在做什么来加强它们保持透明。我们希望让人们清楚地了解我们的做法:我们的模型如何识别并回应有害行为、我们在实践中看到哪些风险,以及我们为应对它们采取了哪些步骤。
我们承诺推出聚焦暴力预防及其他社区安全议题的社区安全报告,并说明我们安全护栏的有效性。报告会解释我们如何训练系统去检测、调查并回应社区安全问题。我们会分享匿名化的例子,说明与暴力相关的危害如何呈现、我们从中了解到什么,突出新的缓解措施和政策变化,并附上支持这些结论的相关数据。
我们将在 2027 年初发布第一份报告,覆盖 2026 年下半年,此后每六个月更新一次。我们的承诺是分享有价值的发现,说明我们如何识别、审查并回应潜在有害内容。
面向所有用户的更强策略边界
我们的模型经过训练,不会提供能帮助某人策划或实施暴力的指引。现在,我们额外限制 ChatGPT 回应关于过去大规模袭击事件及实施者问题的方式,指示模型在这些领域提供更少细节的信息,即使这些信息可以从其他在线来源获得。人们应当能够请 ChatGPT 帮助他们理解这些事件、受害者与社区受到了怎样的影响,并学习如何识别危险信号、预防未来的暴力。但我们在收紧政策,以限制对过去大规模袭击的重建,包括所用武器与装备的细节以及它们的获取方式,以及可能造成放大袭击者恶名后果的伤害规模详细比较。这些限制无论用户的年龄或提问原因如何都适用。
回应危险信号
有时,一个单独看似乎平常的请求,在结合先前的对话之后就有了不同的含义。今年 5 月,我们介绍了 ChatGPT 如何利用简短、事实性的摘要,把早先的危险信号带到后续对话中,以便更审慎地回应。我们正在此基础上继续推进:当近期对话显示出可能施暴的危险信号时,ChatGPT 在分享可能被滥用的信息时会采取更保守的回应。我们还在努力把这些更严格的限制应用于我们预测未满 18 岁的人群,即使他们的对话没有显示任何暴力意图的迹象。
我们会封禁那些我们认定违反了暴力活动相关政策的账号。我们也在与心理健康和暴力预防专家合作,探索额外的、自动化的方式来更早介入。当一段对话显示有人正沉迷于暴力、或沉迷于严重伤害他人的想法时,ChatGPT 将能够自动结束对话,当场打断这种模式。如果 ChatGPT 因该原因多次结束对话,我们可能会暂时暂停该账号。这是一项持续的工作,我们会继续加强并投入技术与实务层面的保护,包括如何可靠地识别危险信号,以及何时、以何种方式介入。
面向青少年的更多保护
ChatGPT for Teens 为未满 18 岁的用户套用符合其年龄的安全护栏,用更强的保护和额外限制来减少接触敏感内容的可能。现在我们进一步限制青少年能够接收到的武器相关信息,即使某个问题看上去无害。
我们的政策本就禁止帮助任何人策划或实施暴力,并限制帮助青少年寻找或获取武器。我们把那些保护延伸开来,以限制可能被滥用来促成暴力的、关于武器与安防系统的实操信息——即使没有任何暴力意图的迹象。青少年仍然可以用 ChatGPT 来帮助预防和缓和暴力、寻求支持,并与值得信任的成年人建立联系。
我们在去年推出了年龄预测,它分析行为模式等多种信号,来估计某位用户可能未满还是已满 18 岁。我们强化了年龄预测系统,会在人们使用 ChatGPT 的过程中持续评估新的信号,并在适当时机把青少年转入未满 18 岁的体验。被错误归入未满 18 岁体验的用户,始终可以快捷地、在保护隐私的前提下确认自己是成年人,并通过我们年龄验证合作伙伴 Persona 解除额外的青少年保护。
我们的家长控制可以让家长把自己的 ChatGPT 账号与孩子关联起来,共同管理安全设置。关联账号包含安全提醒——当受过专门训练的审核人员识别出严重的自伤顾虑,以及可能与进食障碍相关的行为时,可能会发出这些提醒。7 月,我们扩展了这些提醒:如果孩子的账号因违反我们关于暴力的使用政策而被停用,会通知家长。我们正计划推出新的家长通知——如果我们因青少年反复讨论暴力而暂停其账号,也会通知家长,具体如上文所述。
展望未来
现实世界中的暴力行为令人心碎且复杂,有众多促成因素。它也是一个清醒的提醒:我们必须继续设计和迭代我们的系统,以回应人类行为内在的复杂现实。在 AI 系统中建立有效的暴力防护,需要解决风险识别与恰当回应方面的全新问题,我们会继续投入、迭代,并分享关于如何最好地落实我们所追求的这些保护的认知。此处详述的安全护栏将在未来几周内开始逐步推出,我们会持续改进它们。我们仍然致力于降低 ChatGPT 中的危害风险、强化我们的多层保护、监控滥用行为、执行我们的规则,并在情势需要时引入现实世界的支持与干预。
2026 年
作者