评估驱动开发：用Eval Harness系统化迭代Prompt

评估驱动开发：用Eval Harness系统化迭代Prompt

Prompt迭代最常见的反模式是”改一句→手动测几条→感觉差不多→上线”。一个月后面对300条用户投诉才发现新Prompt在某个边界case上表现极差。评估驱动开发（Eval-Driven Development）的思路完全相反：先构建评估数据集（至少50条覆盖正常、边界和异常场景的测试用例），定义评估指标（准确率、格式合规率、幻觉率），每次修改Prompt后跑全量eval。

工具推荐：Promptfoo支持用YAML定义测试用例和断言，自动生成对比报告；LangSmith适合已在使用LangChain的团队，可以追踪每次Prompt变更对线上指标的影响。关键纪律：eval数据集必须包含真实用户数据中发现的失败case——这是防止回归的唯一手段。