[OpenAI] 用 Decisions API 构建响应更快的应用

用 Decisions API 构建响应更快的应用

为任何应用提供快速、聚焦、低成本的决策。

应用和 agent 在一整套工作流中会做出许多小决策：如何对输入做分类、把请求路由到哪里、下一步该执行哪个动作。单个来看它们很简单。一旦上了规模，它们的延迟和成本就会累积起来。

今天，我们宣布 Decisions API 正式全面可用。Decisions API 基于 GPT‑6 Luna 构建，它把 Luna 的智能聚焦在答案有界的问题上，帮助应用和 agent 针对文本、图像和结构化输入做出接近实时的决策，比通过 Responses API 使用 GPT‑6 Luna 快至多 10 倍。

自公开测试版以来，我们新增了原生的 GPT‑Live 集成、用于复用上下文的 prompt caching，以及在美国和 EU 的推理驻留。开发者还可以传入原生 JSON 输入、在问题指令里包含图像，并在单次请求中提出最多 400 个问题，是此前上限的两倍。我们也持续改进延迟，包括在亚洲若干区域补充了算力容量。

团队如何使用 Decisions API

Decisions 的早期采用情况表明，它能适用于各种各样的用例。

在 OpenAI 内部，各团队正把 Decisions API 用在产品与业务工作流中。dots 团队用它来缩短响应时间、提升互动性。我们的 Personal Finance 团队用它给交易描述归类；而我们的 Communications 团队用 Decisions 按主题对报道分类，并就它是在强化还是挑战关键叙事给出评分，从而帮助识别哪些内容值得更仔细的复核。

这些早期的例子说明，快速、结构化的决策能力可以在非常广泛的用例中把进来的信息转化为有用的行动。客户对 Decisions API 的应用同样宽泛，从精准地把 AI 成本归因到实际工作，到让语言学习体验更有互动性。

第 1 个，共 5 个

“借助 Box Extract 和 Decisions API，我们对业务文档进行分类，并把它们路由到正确的下一步。在我们的评测中，Decisions API 在 30 个保险凭证用例上把路由选择提速约 5x，准确率与 Responses API 相同——既把例行工作自动化了，又把置信度较低的用例送交给审核人员。”

—Biswaroop Palit，产品管理平台与集成副总裁，Box

“Decisions API 正在帮助我们给 agent 生成的 [rshell 命令] 在执行前评估风险，从而自主地修复问题。与可用的前沿模型相比，它的 p95 快了 40x，准确率却相当——这让我们可以把 Decisions 放进修复动作的热路径里。”

—AJ Stuyvenberg，Staff Engineer，Datadog

“与 GPT‑6 Luna 相比，Decisions API 让我们把 AI 成本归因到实际工作时快了 4x、便宜了 30%，而且没有牺牲准确率。”

—René Sultan，Research Engineer，Ramp

“在 Sierra，我们在实时客户对话的部分编排环节中用 Decisions API 来选择正确的下一步动作。它的 p95 低于 280 ms，比我们之前的做法快约 3×、每次调用成本低 90%，而客户结果没有任何下降。”

—Ajeet Grewal，Engineer，Sierra

“对语言学习者来说，时机很关键。在我们的测试中，GPT‑Live 里的 Decisions API 集成能够把做出下一步动作所需的时间缩短超过 90%，从 1.4s 降到 0.13s，创造出了互动性强得多的学习体验。”

—Andrew Hsu，CTO，Speak

Box Datadog Ramp Sierra Speak

选择你的应用所需要的决策类型

使用 Decisions API 很简单：开发者先定义一个问题以及它允许的答案，再以文本、图像或原生 JSON 的形式提供上下文。API 会返回三种受支持的答复类型之一——一个概率、一个选择，或一个评分——应用可以据此决定接下来做什么。答复类型的多样性让 Decisions 能够适用于非常广泛的各种用例。

Decisions API 支持三种答复类型：

类型用它来主要结果 predicate估计某个条件为真的概率，例如产品是否存在可见损伤。probability：对该条件为真的 0 到 1 的估计值。 choice从你预先定义的选项中选一个，例如 agent 应该继续、重试，还是请求澄清。choice：你所提供的取值之一。响应中还会包含概率和置信度。 score依照评分标准里有序的等级给一个输入评级，例如损伤的严重程度。score：各等级索引按概率加权后的平均值。

用 Decisions API 和 GPT‑Live 构建实时语音体验

借助 GPT‑Live，你可以为语音应用带来自然、富有表现力的对话，并由顺畅的打断处理让对话保持连贯。Decisions API 如今已原生集成 GPT‑Live，帮助应用在实时对话过程中做出快速、聚焦的决策。客服 agent 可以决定是提出一个澄清问题、路由一个请求，还是升级一个问题。avatar 可以在用户对它说话时调整自己的面部表情，并根据用户说的话以眨眼或微笑回应，营造更有互动感的体验。

下面的示例用 transcript 更新来选择 avatar 的表情。把这段配置添加到已有 GPT‑Live 会话的 session.triggers 中。

JSON

1{2 "type": "decisions",3 "event_type": "session.input_transcript.delta",4 "decisions": {5 "questions": [{6 "type": "choice",7 "name": "reaction",8 "instructions": "Choose an appropriate reaction for the avatar based on the user's latest message.",9 "choices": [10 { "value": "neutral" },11 { "value": "happy" },12 { "value": "sad" },13 { "value": "concerned" }14 ]15 }]16 }17}

Live 会发出一个 decision.event；应用读取选中的 reaction，并据此让角色做出相应动画。了解更多关于把语音接入 Decisions API 的内容。

亲自用 GPT‑Live 试试 Decisions

麦克风已关闭

在你开始之前麦克风保持关闭

正在连接

会话将在 0:00 后结束

会话已结束。如果你还想继续聊，请重新开始。

在你开始之前麦克风保持关闭

表情面板

点按一张脸即可预览。

实时决策

观察 Decisions API 如何根据你们各自说的话来选择面部表情。

你说的话

在你说话时观察它的反应。

助手说的话

在助手回复时观察它的表情。

可以试试说

我正在为我家的猫排练一段试镜。它中途走掉了。

我有个秘密。你再凑近一点。

其实，角色被我姐姐拿到了。这是她的第一场演出！

我对明天有点紧张。你能陪我坐一会儿吗？

我刚拿到那个角色了！你能和我一起庆祝吗？

先做出一副惊讶的表情，然后告诉我你看到了什么。

你能在网上搜一下下一场流星雨吗？

我正在为我家的猫排练一段试镜。它中途走掉了。

本演示有时长限制。使用本演示即表示你同意 OpenAI 的服务条款⁠并确认已知悉我们的隐私政策⁠。

构建并评估你的第一个决策

Decisions API 今天起通过专用的 Decisions endpoint 全面可用，使用的模型是 GPT‑6 Luna。当前的费率与缓存详情请参阅定价与可用性指南。

先从你的应用经常反复做出的某一个决策开始。定义这个问题、可能的答案，以及区分这些答案所需的上下文。用能反映真实使用情况的示例来测试它——在 Decisions Playground 里用你自己的文本或图像，或者按照开发者指南发出你的第一个请求。

Decisions API 的费用是每 100 万输入 token $0.10。缓存输入为每 100 万 token $0.01。关于 30 分钟和 12 小时的缓存写入，请阅读我们的定价指南。你只需为输入 token 付费：不收输出 token 的费用。区域化处理在美国和 EU 可用，Zero Data Retention面向符合条件的客户提供。详情请查看定价与缓存和数据控制。

作者