用 Bullet 跑 SWE-bench Verified 能拿到
在编程 Agent 领域,很多人陷入了一个误区,觉得速度慢是因为模型推理慢。但其实真正拖后腿的是那些没完没了的往返对话(round trips)。我最近关注到 YC 的一个新项目 Bullet,他们给出的结论很直接:减少往返次数比提升模型单次响应速度重要得多。
从数据上看,Bullet 在 SWE-bench Verified 上的表现相当离谱,500 个任务解决了 479 个,速度比 mini-SWE-agent 配合 Fable 或 Sol 快了 35% 到 67%。
这项目挺有意思,创始人之前在 Citadel 这种量化巨头待过,自带一种“性能强迫症”。他们觉得像 Claude Code 这种工具在处理上下文时太笨,要么把整个仓库塞进去,要么依赖低效的 embedding,导致模型在垃圾信息里打转。
Bullet 核心在搞这几件事,我觉得很有实操参考价值:
- 并行化调研: 把独立的搜索、读取和命令执行全部并行化,只有必须依赖前一步的编辑和验证才走串行。这样能直接砍掉 16% 的往返次数。
- 上下文强力清理: 限制工具输出长度,自动删除过期的截图,不再重复读取文件,防止上下文被垃圾信息淹没。
- 精准搜索代替全量索引: 他们认为对整个 Repo 做 embedding 挺傻的,而是通过更高效的 grep 机制在代码和上下文中进行定向搜索。
- 模型路由优化: 避免用昂贵的大模型去跑那些 Sonnet 就能搞定的简单任务。
从数据上看,Bullet 在 SWE-bench Verified 上的表现相当离谱,500 个任务解决了 479 个,速度比 mini-SWE-agent 配合 Fable 或 Sol 快了 35% 到 67%。
最让我好奇的是他们提到的一个细节:在做代码搜索时,正则方言的不匹配会导致 Agent 悄悄地找错方向,从而走入死胡同。这种极小的技术细节往往决定了 Agent 是在高效工作还是在“一本正经地胡说八道”。
对于需要长时间迭代、步骤依赖极强的任务(比如写数据流水线或跑评测循环),这种优化路径可能比单纯堆模型参数要有效得多。
事件追踪 · 相关报道
Bullet 居然在 SWE-bench Verified 上跑出了
9小时前
让非程序员也能提交代码后,我们的开发流程彻底乱套了
20小时前
移民律师现在用大模型处理案卷到底得遵守哪些底线
1天前
软件工程的中产阶级正在被 AI 给端掉
1天前
Anthropic 的编程工具被指有安全后门,这事儿得怎么看
1天前
在 macOS 底部 Dock 栏旁边加个伪 LED 灯条能解决 C
2天前