Agent 每做一步都叫大模型,未必划算。刚读 Sydney Runkle 写的 Jev/LangChain 长文:模型路由、工具调用前的分类,可以交给只返回选项或分数的模型;真正需要解释和生成时,再用语言模型。
我觉得关键是边界。选项有限、错判代价可衡量的步骤,适合用轻量分类器。涉及外部副作用的工具调用,概率分数只能提供风险信号,不能单独授予权限;规则、审计和必要的人工复核仍要独立存在。
厂商给出的速度和成本倍数还需要独立验证,别直接套到自己的工作流。
Agent 每做一步都叫大模型,未必划算。刚读 Sydney Runkle 写的 Jev/LangChain 长文:模型路由、工具调用前的分类,可以交给只返回选项或分数的模型;真正需要解释和生成时,再用语言模型。
我觉得关键是边界。选项有限、错判代价可衡量的步骤,适合用轻量分类器。涉及外部副作用的工具调用,概率分数只能提供风险信号,不能单独授予权限;规则、审计和必要的人工复核仍要独立存在。
厂商给出的速度和成本倍数还需要独立验证,别直接套到自己的工作流。