Token预算优化：在不牺牲质量的前提下降低50%成本
API成本是AI应用最大的运营支出之一。优化token消耗需要从三个层面入手：System Prompt精炼——大多数人的System Prompt有30%是冗余修饰词。用LLM对自己的System Prompt做压缩测试：将原文和压缩版分别用于100个测试用例，对比输出质量，找出可以删除的冗余表述。
对话历史截断——超过10轮的对话历史中，前几轮通常对当前问题不再有价值。用滑动窗口（保留最近N轮）+ 摘要（将窗口外的内容压缩为一段摘要）的策略可以节省30-50%的输入token。最后是模型分层：简单任务（分类、提取）用便宜的模型（DeepSeek-V3），复杂任务（推理、创意生成）用贵的模型（Claude 3.5 Sonnet），通过Model Router自动分派。
发表回复