只会调API根本不算AI工程化

很多人觉得接入大模型就是写个 fetch 请求，把 Prompt 扔进去拿个回复就完事了。但实际在做 AI Agent 落地时你会发现，API 调用反而是整个链路里最简单的环节，真正的坑都在模型之外。

我在实操中发现，最折磨人的其实是上下文窗口的管理和输出结果的确定性。比如当你尝试构建一个复杂的工作流，模型在第 N 轮对话后开始出现幻觉，或者 JSON 格式偶尔崩掉导致后端解析报错，这时候你才意识到所谓的“AI工程化”其实是在给不可控的模型套笼子。

典型的踩坑点通常集中在这些地方：

• Prompt 漂移： 修改了一个词，原本稳定的功能突然在边缘case上失效。
• Token 成本与延迟： 为了追求效果堆长上下文，结果响应时间直接从 2s 涨到 10s，用户体验崩掉。
• 状态同步： 在多轮对话中维持一个精准的 Memory 状态，比写业务逻辑难得多。

一个典型的结构化输出处理逻辑（防止模型胡言乱语）大概是这样的：

# 简单的重试机制，确保获取合法的JSON
import json
from openai import OpenAI

client = OpenAI()

def get_structured_data(prompt, max_retries=3):
    for i in range(max_retries):
        response = client.chat.completions.create(
            model="gpt-4o",
            messages=[{"role": "user", "content": prompt}],
            response_format={"type": "json_object"}
        )
        try:
            return json.loads(response.choices[0].message.content)
        except json.JSONDecodeError:
            if i == max_retries - 1:
                raise Exception("Model failed to return valid JSON after retries")
            continue

真正的 AI 工程化应该关注的是如何构建一套可观测、可评估的 Pipeline，而不是盯着那个 API Key 看。