搞LLM和Agent应用测试快把我搞疯了,逻辑全变了!
刚入行搞大模型项目,我发现现在的开发逻辑跟传统的完全不是一个维度的!以前写代码讲究红绿重构,代码对不对、跑没跑通一眼就能看出来。但现在碰到生成式AI,这随机性简直让人抓狂,根本没法像以前那样写死一个预期结果去对。
下一篇
只会问 AI 要代码的开发者,正在丧失对系统的掌控力 →
我现在特别焦虑,急需大家分享一下实战经验:
1. 评估(Evaluation)到底怎么搞?是大家都在靠人工抽检,还是已经有成熟的自动化评测框架了?
2. 针对Agent这种逻辑,有没有什么避坑指南?
3. 有没有什么硬核的Best Practices可以参考?
哪怕是些零散的经验也行,真的求各位大佬指点!我太想把这套评估逻辑理顺了,不然感觉自己一直在盲打。