新版GPT OpenAI开发者福音! API上线结构化输出功能

智东西 编译 黄心如 编辑 李水青

智东西8月9日消息,OpenAI公司于8月6日宣布,在其API中新增了结构化输出功能,这标志着OpenAI现在能够根据开发者提供的JSON模式,准确生成符合要求的输出结果。官方还宣布,借助这一功能,新推出的gpt-4o-2024-08-06模型在评估中达到了100%的准确率,完美匹配了预期的输出模式。

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,易于被人阅读和编写,同时也易于被机器解析和生成。去年在DevDay上,OpenAI引入了JSON模式助开发者构建应用,本次新的结构化输出功能将进一步改善模型与JSON冲突的情况,从而减少“幻觉”现象和降低输出成本。

一、结构化输出功能API上线,JSON准确率100%

由非结构化输入得到结构化输出数据是当今应用中AI的核心用例之一。开发人员使用OpenAI API构建了功能强大的助手,这些助手能够通过函数调用获取数据、回答问题、提取结构化数据并构建多步骤的智能工作流程,从而使大型语言模型(LLM)能够有效行动。长期以来,开发者通过开源工具、提示工程和反复请求来解决LLM在此方面的限制,以确保模型输出符合系统的要求。结构化输出通过训练模型更好地理解复杂模式,并让OpenAI模型遵循开发者提供的模式,很好地解决了这一难题。

OpenAI公司跟踪评估了复杂JSON模式,带有结构化输出的新模型gpt-4o-2024-08-06获得了100%的满分成绩;相比之下,gpt-4-0613得分不到40%。

▲gpt-4o-2024-08-06实现了100%的可靠性(图源:OpenAI)

OpenAI公司宣布,结构化输出功能现已在API中正式上线。所有支持函数调用的模型均可实现此功能,包括最新的gpt-4o和gpt-4o-mini模型,以及gpt-4-0613和gpt-3.5-turbo-0613等微调模型。该功能可在Chat Completions API、Assistants API和Batch API中使用,并兼容视觉输入。

二、双形式创新:结构化输出携手原生SDK

OpenAI公司在API中以两种新形式引入了结构化输出功能:

1.函数调用:通过在函数定义中设置“strict: true”即可通过工具获得结构化输出。此功能适用于所有支持工具的模型,包括gpt-4-0613和gpt-3.5-turbo-0613及更高版本。启用结构化输出后,模型输出将与提供的工具定义匹配。

▲(图源:OpenAI)

2.“response_format”参数的新选项:开发人员现在可以通过结构化输入提供JSON模式,这是“response_format”参数的新选项。当模型不调用工具而是以结构化方式响应用户时,这将更加高效。此功能适用于OpenAI最新的GPT-4o模型:今天发布的gpt-4o-2024-08-06和gpt-4o-mini-2024-07-18。当“response_format”提供 “strict: true”参数时,模型输出将与提供的模式匹配。

▲(图源:OpenAI)

OpenAI的Python和Node SDK已更新,提供对原生结构化输出的支持。通过将架构作为工具或响应格式提供,开发者可以轻松地使用 “Pydantic”或“Zod”对象,OpenAI的SDK将处理数据类型转换为受支持的JSON架构,自动将JSON响应反序列化为类型化的数据结构,并在出现拒绝时进行分析。

以下示例展示了使用函数调用对结构化输出的本机支持:

▲(图源:OpenAI)

开发人员经常使用OpenAI的模型为各种用例生成结构化数据。

一些其他示例包括:

1、根据用户意图动态生成用户界面

2、将最终答案与支持推理或附加评论分开

3、从非结构化数据中提取结构化数据

新的结构化输出功能将严格遵守OpenAI的安全政策,同时仍允许模型拒绝不安全的请求。API响应中新增了一个拒绝字符串值,开发人员可以通过编程方式检测模型是否生成了拒绝指令。

当响应不包含拒绝且模型的响应没有被过早中断时,模型将可靠地生成与提供的架构匹配的有效JSON模式。

三、技术揭秘:结构化输出的双重约束机制

OpenAI采用了双重方法来提高模型输出与JSON模式匹配的可靠性。首先,OpenAI对其最新的模型GPT-4o-2024-08-06进行了训练,使其能够理解复杂的模式,并生成最适配的输出。

其次,OpenAI采用了受限解码技术。尽管模型的性能显著提升,在基准测试中达到93%的准确性,但模型的固有不确定性仍然存在。为确保开发者构建应用的稳健性,OpenAI提供了一种确定性方法来约束模型输出,实现100%的可靠性。

默认情况下,模型在生成输出时没有约束,可能从词汇表中选择任何标记。这种灵活性可能导致模型生成无效的JSON字符。为了避免这种错误,OpenAI使用动态受限解码方法,强制模型仅选择符合提供模式的有效标记。在每次生成标记后,推理引擎根据前一个标记和模式规则确定下一个有效标记。这一方法通过屏蔽无效标记的可能性,确保生成的输出始终符合提供的模式。

实现这种约束可能具有挑战性,因为有效标记在整个模型输出中是动态变化的。例如,初始有效标记包括 {、{” 和 {\n等,但一旦模型生成了 {“val,那么 { 就不再是有效标记。因此,OpenAI需要在生成每个标记后动态确定哪些标记有效,而不是在响应开始时预先确定。

为此,OpenAI将提供的JSON模式转换为上下文无关语法(CFG)。CFG是一组定义语言的有效规则,开发者可以将JSON和JSON模式视为具有规则的特定语言。类似于英语中没有动词的句子是无效的,JSON中带有尾随逗号也是无效的。

因此,对于每个JSON模式,OpenAI计算出代表该模式的语法,并在采样过程中高效地访问预处理组件。这就是为什么首次使用新模式可能需要额外处理时间的原因——OpenAI必须对模式进行预处理,以生成可以在采样中有效使用的组件。

在采样时,OpenAI的推理引擎将根据先前生成的标记和语法规则(指示下一个标记是否有效)确定下一个生成的标记。OpenAI使用标记列表来屏蔽无效标记,将无效标记的概率降至0。由于模式已被预处理,OpenAI可以使用缓存的数据结构高效地完成此操作,同时将延迟开销降至最低。

除了CFG方法,有限状态机(FSM)或正则表达式也可以用于受限解码。它们的功能类似,都会在生成每个标记后动态更新哪些标记是有效的。但值得注意的是,CFG方法能够表达比FSM更广泛的语言类别。对于简单模式,这种差别可能不明显。然而,OpenAI发现对于涉及嵌套或递归数据结构的复杂模式,CFG方法表现更为出色。例如,FSM通常无法表达递归类型,因此可能难以匹配深度嵌套JSON中的括号,而支持递归模式的JSON模式在OpenAI API上已得到实现,但FSM方法难以处理。

▲(图源:OpenAI)

请注意,每个UI元素都可以有任意子元素,这些子元素以递归方式引用根模式,这种灵活性是CFG方法所能提供的。

四、边界探索:结构化输出的部分限制

在享受结构化输出带来的高效与精准的同时,我们也需要清楚地认识到其存在的限制,以便更好地指导开发和应用。使用结构化输出时,开发者需注意以下限制:

结语:新增结构化输出,助力降本增效

与gpt-4o-2024-05-13版本相比,gpt-4o-2024-08-06版本在成本上更具优势。开发者可以节省50%的输入成本,每百万输入令牌相当于2.50美元(约合人民币17.95元);输出成本节省33%,每百万输出令牌相当于10.00美元(约合人民币71.81元)。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://m.srwj168.com.cn/keji312/9638.html
茶百道预估2024年上半年经调整净利润3.8亿至4.1亿元
王丽坤前夫诈骗案细节曝光!花了几百万去嫖小明星 名单都有了