如何通过 JSON Mode 解决 LLM 输出的结构化问题

开发者在使用 JSON Mode 提取信息时，最常见的痛点是在 System Prompt 中要求"输出 JSON"，但模型依然会在结果前后附加 Here is the result: 等冗余文本，直接导致 json.loads() 运行报错。

实现工业级结构化输出的关键，是将 JSON Mode 视为一个必须执行的"约束开关"，而非一个可选的"建议"。

避坑指南：避免将模型误认为编译器

一个典型的误区是提供过于复杂的 JSON Schema 却缺乏示例。LLM 对深层嵌套结构的感知能力较弱，面对四五层嵌套的对象，模型极易在深层节点出现引号缺失或键名错误。

此外，必须关注 Token 截断问题。由于 JSON 结构要求结尾必须闭合（如 } 和 ]），若 max_tokens 设置过短导致输出中途截断，整个 JSON 字符串将失效。在处理长文本提取时，建议预留 20% 的 Token 缓冲空间。

实操技巧：将"指令"升级为"定义"

为了确保输出的高度稳定，建议采用「Schema定义 + 负向约束 + Few-Shot」的组合方案。

1. 精确定义字段类型
避免使用 date: 日期 这种模糊描述，应改为 date: string (YYYY-MM-DD)。格式描述越具体，模型产生幻觉的可能性就越低。

2. 强行截断冗余文本
在 System Prompt 中加入强硬限制，例如：

Respond ONLY with a valid JSON object. Do not include any conversational filler, markdown code blocks (unless specified), or preamble.

为什么结构化Prompt示例比纯文字描述更有效

3. 结构化 Prompt 示例
推荐通过提供"模版"引导模型填空的方式组织 Prompt：

# Task
Extract entity information from the text.

# Output Format
Return a JSON object following this structure:
{
  "entities": [
    {"name": "string", "type": "string", "confidence": "float (0-1)"}
  ]
}

# Example
Input: "Apple released the Vision Pro in 2024."
Output: {"entities": [{"name": "Apple", "type": "Company", "confidence": 0.99}, {"name": "Vision Pro", "type": "Product", "confidence": 0.98}]}

结构化能力的成熟，让 LLM 能够真正接入自动化 Pipeline，告别在 Prompt 中与模型"讨价还价"的阶段。对于 Agent 开发者而言，JSON Mode 解决了解析稳定性这一核心难题。此时 LLM 相当于一个标准的 API 接口，前端可直接调用输出字段进行 UI 渲染，无需编写复杂的正则匹配来清洗字符串。AI 应用的开发重心也因此从"调教话术"转向了"定义数据契约"。