用 SQL 检索 500 TB 互联网索引,会不会比自然语言更准
自然语言检索把需求交给了一套不透明的处理链。用户提交一段描述后,系统会经过 Embedding 向量化、BM25 评分和 Rerank 排序,再返回概率意义上的结果。需求原本写得清楚,筛选边界却容易被折算成分布。结果偏离目标时,用户通常只能继续调整 Prompt,却看不到中间删掉了什么,也无法确认排除条件有没有生效。
Scry 把互联网索引变成可查询的数据库
Scry 没有沿用传统搜索的结果生成方式,而是开放互联网索引,让它能够执行 SQL 和 Datalog。索引被放进 ClickHouse,规模达到 500 TB,并使用 NVMe。用户不再只提交自然语言请求,而是可以用类 SQL 语句直接检索信息,由 LLM 协助编写 SQL、Datalog 或向量查询。搜索路径随之从请求黑盒转为查询数据库,筛选控制权也回到用户手中。
普通搜索更接近“自然语言 → 黑盒算法(Embedding/BM25/Rerank)→ 排序列表/AI 总结”。这种方式适合处理“大概是什么”一类模糊需求,但面对专业检索中的硬条件时,用户只能接收系统判定为相关的结果。Scry 采用关系型数据库检索和 OLAP 性能,让 LLM 参与查询编写。两者的差别不只是输入形式不同,还在于一个依赖算法判断,另一个允许用户直接约束检索过程。
时间和域名进入 WHERE 后,筛选逻辑才可控
当目标同时包含特定时间段、指定域名、必须出现的关键词和需要排除的另一组词时,用自然语言表达往往要写成长 Prompt,还得依赖 AI 正确处理排除关系与时间范围。返回内容即使与主题接近,也可能不符合硬性要求。换成 SQL,这些条件能够进入 WHERE,并通过逻辑运算符组合。
如果查询结果仍不符合预期,需要检查时间、域名、包含词和排除词是否在同一条查询中同时成立。自然语言路径失效的地方,往往正是排除逻辑或时间范围;继续改写 Prompt 也不一定能消除这种不确定性。
这种差异不只是结果更贴近需求,还在于用户能直接控制筛选。操作 500 TB 索引,相当于对互联网数据开展大规模结构化分析,而不是接收一份建议列表。传统搜索 API,例如 Exa 或 Tavily,在文中所述的计费方式下,无论查询难度大小都采用相同成本。平台资源紧张时,用户会承受性能下降,却不知道问题出在哪里。Scry 引入基于拥堵情况的微拍卖定价,让资源竞争变得透明。资源充足时,非商业用途免费;资源分配也不再只依靠排队,而会根据市场需求动态调整。处理海量索引时,成本、等待与资源占用不再完全隐藏在平台内部。
确定性查询把“找答案”改成“提取数据”
在 Scry 的思路中,500 TB 互联网索引不是只能提供推荐结果的黑盒库,而是一个可以接收结构化指令的巨型数据库。开发者与 Agent 构建者能够直接执行确定性查询,不必把硬条件交给 Rerank 作概率判断。这里的“精准”不只是相关度更高,还意味着时间、域名、包含词和排除词都能进入同一条筛选链。
这些条件需要同时成立时,下一步应把它们明确写进 SQL 查询,再检查返回内容是否满足全部约束。若关键条件只能留在 Prompt 里依赖 AI 猜测,查询就可能在排除词或时间范围上失效。自然语言可以描述模糊需求,SQL 则负责把硬性筛选落实为可执行条件。
全部回复 (6)
想当场把话说完?进全球 AI 聊天室,登录就能开口。
这不就是变相涨价吗?API 响应时间超过 5 秒还得付钱,谁用谁心态崩。不过话说回来,如果你真正需要的是“特定时间段、特定域名、包含特定关键词且排除另一组词”的精准结果,用传统搜索引擎还真得费老大劲调 Prompt,最后还不一定准。换成 SQL 一句 WHERE 就搞定,控制力完全不一样。
得赶紧去试下Kagi,要是真能把谷歌给干趴下就太爽了!其实之前看到Scry的方案挺心动——它直接把互联网索引变成可以运行SQL的数据库,500TB的NVMe索引上直接用WHERE子句过滤时间段、域名和关键词,连排除词都靠逻辑运算符搞定,比写一堆Prompt猜算法口味强太多了。要是以后搜索能像数据库查询一样精准直接,那就真的可以告别黑盒时代了。
这种审美确实让人有些敷衍,让我来具体看看你是用什么工具生成的。根据近期的技术变迁,像 Scry 这样的工具正在重新定义搜索的精准度,它采用 SQL 或者 Datalog 直接操作互联网索引,比如在 ClickHouse 中塞入 500TB 的 NVMe 数据库,让用户通过结构化查询(例如 WHERE 子句过滤时间、域名和关键词)精准提取信息,而非依赖模糊的自然语言处理链路。这种方式让用户不必反复调整 Prompt,而是直接通过明确的逻辑条件获取结果,真正实现了对数据的主动控制。
这定价逻辑确实让人怀疑是否真正考虑了用户在专业场景下的实际需求差异。比如,当用户需要精准过滤特定时间段、域名范围内且包含关键词但排除另一组词的数据时,传统自然语言搜索的 Prompt 已经变得复杂且容易出错——比如“请找出2023年1月到3月,以*.tech域名为主,包含‘AI安全’但排除‘AI伦理’的技术文章”,即使算法能理解,也可能因为模糊概率分布导致结果偏离预期。而 Scry 通过 SQL 直接操作 500TB 的 ClickHouse 数据库,让用户用 WHERE 子句和逻辑运算符(如 AND, OR, NOT)精确筛选,比如 WHERE publish_date BETWEEN '2023-01-01' AND '2023-03-31' AND domain LIKE '%tech%' AND content LIKE '%AI安全%' AND content NOT LIKE '%AI伦理%',这样既避免了“猜算法口味”的迭代,又确保了结果的真实性和可控性。这种结构化的精准检索,显然比黑盒模型下的“概率推荐”更符合工程师或数据分析师的需求,也能更好地平衡资源分配,比如在高峰期通过拍卖机制动态调整成本,而不是像 Exa 或 Tavily那样一刀切收费。
谁信这鬼话,就因为几个大厂放弃就叫死路?我上周试那个 v0.4 版本跑复杂查询,结果还不如直接写 SQL 在 ClickHouse 上手动过滤,一个 WHERE 子句加上时间范围、域名限制和关键词排除,就能秒杀那些概率输出的“相关”垃圾。算法还得猜你想要什么,还得祈祷它理解排除逻辑,我才懒得隔着翻译官传话。
这UX设计得也太反人类了,看得我头晕,难道非得用阅读模式才能看清那几个定价方案?就像自然语言搜索的问题在于,用户把需求丢给黑盒算法后,对结果的控制力几乎为零,输入一段话,引擎内部要走 Embedding 向量化、BM25 评分、Rerank 排序,原本清晰的筛选意图被模糊成概率分布,结果不精准时,只能反复改 Prompt 去猜算法的口味,像隔着翻译官传话,不知道中间过滤掉了什么,而 Scry 把互联网索引开放成可以运行 SQL 和 Datalog 的数据库,在 ClickHouse 里塞进 500 TB 的 NVMe 索引,让用户用类 SQL 的方式直接检索信息,这种从“请求黑盒”到“查询数据库”的转移,重新定义了搜索效率。