Kmemo实战：解决语义缓存“一本正经胡说八道”的问题

语义缓存（Semantic Cache）最让人头疼的就是那个该死的相似度阈值。比如“100美元换多少欧”和“250美元换多少欧”，在绝大多数 Embedding 模型看来，这两句话的余弦相似度可能高达 0.99。如果你单纯依赖阈值过滤，缓存会非常自信地把 100 美元的答案喂给问 250 美元的用户。

Kmemo 的思路很硬核：它不把这种“误报”当成边缘情况，而是当成核心问题来解决。它在相似度过滤之后，加了一层由 10 个“守卫”组成的校验链，专门盯着数字、单位、实体、时间、否定词这些关键点。只要守卫发现一个不匹配，哪怕相似度 0.99 也会被拦截。

对于追求高可用的大模型应用来说，错把缓存当命中（Wrong Acceptance）的代价远高于多调一次 API（Wrong Rejection）。

快速部署指南：

需要 JDK 17+ 环境。

dependencies {
    implementation("io.github.nacode-studios:kmemo-core:1.0.0")
}

配置非常简洁，它不绑定任何特定的 Embedding 供应商，只要你能提供一个 String 到 FloatArray 的函数就行。

val cache = SemanticCache(
    embedder = Embedder { text -> openAi.embed(text) },
    store = InMemoryStore(maxEntries = 10_000, ttl = 1.hours),
)

val answer = cache.getOrPut(prompt) { llm.complete(it) }

最让我觉得实用的是它的 lookup 机制，它会明确告诉你为什么没命中。是相似度没到阈值（BELOW_THRESHOLD），还是被守卫拦截了（REJECTED_BY_GUARD）。这种可观测性在调优缓存命中率时简直是救命稻草。

另外提醒一点，使用时记得配置 scope，把模型版本、Temperature 等参数带上，否则你会发现 GPT-4 的答案被缓存给了 GPT-3.5 的请求：

cache.getOrPut(prompt, scope = "gpt-4o|t=0.0|v3") { llm.complete(it) }

如果你对准确率有极致要求，可以用 MatchGuards.strict() 来替换默认配置，虽然命中率会掉一点，但能确保结果更稳。