Agent 测评基准框架调研

背景

目前做业务Agent最大的难题还是设计测评基准，测评基准能服务很多事情:

1. 可行性验证。证明本次新功能是提高了性能的。
2. 迭代稳定性。也就是说Agent在多次迭代时，保证基础功能稳定，重要能力不会因为迭代而下降。
3. 问题识别。根据测评未通过的case，可以研究系统差在什么地方。
4. 驱动微调特征和测试集设计。找到系统的关键特征，并以此设计需要收集的运行时产物并以此产出训练集。

业界做法

https://www.zhihu.com/question/1890240528236393875/answer/1980254344877201132

SWE-bench

https://zhuanlan.zhihu.com/p/16292266518

是什么：
怎么做：
思想是什么：