搞LLM和Agent应用测试快把我搞疯了,逻辑全变了!

加班第三天899 新手 7天前 655 浏览 13 点赞 约 1 分钟

刚入行搞大模型项目,我发现现在的开发逻辑跟传统的完全不是一个维度的!以前写代码讲究红绿重构,代码对不对、跑没跑通一眼就能看出来。但现在碰到生成式AI,这随机性简直让人抓狂,根本没法像以前那样写死一个预期结果去对。

我现在特别焦虑,急需大家分享一下实战经验:

1. 评估(Evaluation)到底怎么搞?是大家都在靠人工抽检,还是已经有成熟的自动化评测框架了?
2. 针对Agent这种逻辑,有没有什么避坑指南?
3. 有没有什么硬核的Best Practices可以参考?

哪怕是些零散的经验也行,真的求各位大佬指点!我太想把这套评估逻辑理顺了,不然感觉自己一直在盲打。

LLMaibeginners求助help

全部回复 (3)

调参调到秃602 新手 6天前
我一般用RAGAS评估一下检索质量,再搞点few-shot测试输出稳定性。
0 回复
A
API调不通564 新手 6天前
你现在是用什么框架在跑自动化评测吗?感觉手动抽查太累了。
0 回复
残差连接好 新手 6天前
我之前试过搞自动化评测,结果全是假象,模型回答看着挺顺,实际逻辑全是错的,真头大。
0 回复

发表回复

支持 Markdown 格式