OpenAI 的更严格规则:为什么 ChatGPT 不再谈论地精
在我们日益互联的世界中,我们在线上进行的对话深刻地塑造了我们如何相互理解和互动。随着人工智能模型越来越容易获得并在日常生活中得到应用,确保这些平台能够营造安全和建设性环境的责任呈指数级增长。OpenAI,一家领先的人工智能研究和部署公司,正通过其全面的内容审核政策和工具来应对这一挑战。
快速摘要:OpenAI 的内容审核
- 通用使用政策: 这些政策于 2025 年 10 月 29 日更新,确保所有 OpenAI 产品和服务遵循一致的准则,优先考虑安全和用户控制。
- 禁止内容: OpenAI 严禁与威胁、骚扰、自残、性暴力、儿童性虐待材料 (CSAM) 和恐怖主义相关的内容。
- 审核 API: 一项免费技术工具,供开发人员识别和过滤有害文本和图像,提供详细的标记和分类。
- 安全护栏系统: 实时验证 AI 助手的消息,防止冒犯性或违反政策的内容到达用户。
- 持续更新: OpenAI 定期改进其审核模型和政策,要求开发人员保持信息更新并进行适应。
审核的基础:OpenAI 的使用政策
OpenAI 一直在持续改进其内容审核方法。2025 年 10 月 29 日,该公司更新了其使用政策,为所有产品和服务制定了统一的准则。这些政策优先考虑其工具的安全和负责任使用,同时最大限度地提高用户控制。此前,于 2025 年 1 月 29 日,这些通用准则得到了进一步澄清,以根据适用法律详细说明禁令。
2024 年 1 月 10 日也发生了重大变化,当时这些准则为服务提供了更清晰的表述和更具体的说明。2023 年 2 月 15 日进行了重大合并,将应用程序特定指南和内容指南合并为一套统一的使用政策,提供了有关高风险行业禁止活动方面的详细指导。自 2022 年 11 月 9 日起,OpenAI 不再要求应用程序注册,而是依赖自动和手动方法来监控政策违规行为。2022 年 10 月 25 日,应用程序审核流程本身进行了更新,允许开发人员在不等待批准的情况下部署应用程序,前提是他们遵守已确定的指南,如其文档中所述。
OpenAI 严禁使用其服务进行一系列有害活动。这包括明确的威胁、恐吓、骚扰或诽谤。鼓励自杀、自残概念或饮食失调的宣传或助长也属禁止之列。涉及性暴力或非自愿亲密材料的内容属于这些禁令范畴。这些政策还明确禁止恐怖主义或任何形式的暴力,包括仇恨暴力。至关重要的是,任何涉及儿童性虐待 (CSAM) 的材料均被禁止,无论其是否为人工智能生成。使用政策.
招揽未成年人以及将未成年人暴露于不适合其年龄的内容(例如,露骨的自残、性或暴力内容)也是被禁止的。此外,通过 OpenAI 的服务鼓励未成年人摄入不健康的饮食或运动习惯也是不允许的,具体在其官方文件中有详细说明。
OpenAI 的使用政策明确禁止一系列有害内容,从骚扰和威胁到儿童性虐待材料。使用政策.

来源: roborhythms.com
OpenAI 的使用政策明确禁止一系列有害内容,从骚扰和威胁到儿童性虐待材料。
审核 API 实践
OpenAI 的审核 API 是识别文本和图像中潜在有害内容的关键技术工具。该终结点免费提供,允许开发人员过滤内容或干预生成冒犯性材料的用户帐户。向审核终结点发送图像文件时,大小限制为 20MB,具体在其文档中有所描述。API 文档.

来源: community.openai.com
此仪表板说明了审核 API 如何处理内容,将其标记为潜在有害或合规。
开发人员可以为审核终结点使用两种不同的模型:omni-moderation-latest 用于多模态输入和更广泛的类别,以及 text-moderation-latest 作为仅用于文本的遗留选项。审核 API 的输出提供几个关键指标:
flagged状态: 如果内容可能有害,则为 True。categories: 显示每个类别的违规标记。category_scores: 提供 0 到 1 之间的置信度值。category_applied_input_types: 对于 Omni 模型,指定哪些输入类型(图像、文本)触发了每个类别的标记。
OpenAI 会持续更新审核终结点的底层模型,这可能需要重新校准自定义策略。
审核 API 类别
审核 API 将内容分为各种伤害类型。以下是主要类别及其输入类型支持的细分:
| 类别 | 子类别(示例) | 支持的输入类型 |
|---|---|---|
harassment |
harassment/threatening |
仅文本 |
hate |
hate/threatening |
仅文本 |
illicit |
illicit/violent |
仅文本 |
self-harm |
self-harm/intent, self-harm/instructions |
文本和图像 |
sexual |
sexual/minors |
文本和图像 |
violence |
violence/graphic |
文本和图像 |
illicit(非法)类别涵盖提供非法行为建议或说明的内容,而 illicit/violent(非法/暴力)专门指包含暴力或获取武器的内容。sexual/minors(性/未成年人)类别标记涉及 18 岁以下个人的性内容,如在以下文件中记录:OpenAI 审核指南.
使用安全护栏管理用户生成内容
有效管理用户生成内容对于遵守 OpenAI 政策和避免 API 禁令至关重要。在每次 API 调用中实现唯一用户标识符 (user_id) 有助于 OpenAI 将政策违规行为归因于特定用户,从而保护应用程序免受集体处罚。公司应向用户传达可接受的内容准则,以最大限度地减少违规行为。
详细记录用户互动有助于识别滥用模式并完善审核策略。速率限制和节流机制可防止过多的请求和重复提交的问题内容。强大的错误处理系统应在审核拒绝请求时向用户提供清晰且信息丰富的反馈。鉴于 OpenAI 内容政策不断发展的性质,定期审查和更新内部政策和审核策略至关重要。
安全护栏和内容审核系统在 AI 助手消息到达用户之前对其进行实时验证。该系统根据审核策略对代理输出进行分类,识别冒犯性内容、不符合品牌的消息和暴力。违反政策的消息将被标记为 FAIL(失败)并隐藏,而合规的消息将被标记为 PASS(通过)并正常显示。安全护栏系统在消息流式传输期间异步运行,使用单独的 LLM 分类器 (gpt-4o-mini)。安全护栏类别包括 OFFENSIVE(冒犯性,涵盖仇恨言论和歧视性语言)、OFF_BRAND(不符合品牌,例如讨论竞争对手)、VIOLENCE(暴力,例如露骨的威胁或暴力描述)以及 NONE(无,适用于完全合规的消息)。核心分类组件 runGuardrailClassifier 评估消息内容。分类器提示定义了专家角色、公司名称、要分类的消息以及详细的输出类别描述。
结论
OpenAI 多层次的内容审核方法,包括清晰的使用政策、强大的审核 API 和实时安全护栏,都体现了其对营造安全的在线环境的坚定承诺。随着人工智能技术的不断发展,持续改进这些系统对于应对数字通信的复杂性并维护道德标准至关重要。
常见问题
OpenAI 的使用政策最后一次更新是什么时候?
OpenAI 于 2025 年 10 月 29 日更新了其通用使用政策,以确保所有产品和服务遵循一致的准则。
OpenAI 严禁哪些类型的内容?
OpenAI 禁止与威胁、骚扰、自残、性暴力、儿童性虐待材料 (CSAM)、恐怖主义以及未成年人暴露于不适合其年龄的内容相关的内容。
审核 API 如何帮助开发人员?
审核 API 是一项免费工具,允许开发人员识别和过滤文本和图像中潜在的有害内容。它为各种伤害类别提供详细的标记和评分,有助于维护安全环境。
安全护栏系统的目的是什么?
安全护栏系统实时验证 AI 助手消息,防止冒犯性、不符合品牌或暴力内容显示给用户。它根据审核策略将消息分类为 PASS(通过)或 FAIL(失败)。