Agent 每做一步都叫大模型,未必划算。刚读 Sydney Runkle 写的 Jev/LangChain 长文:模型路由、工具调用前的分类,可以交给只返回选项或分数的模型;真正需要解释和生成时,再用语言模型。 我觉得关键是边界。选项有限、错判代价可衡量的步骤,适合用轻量分类器。涉及外部副作用的工具调用,概率分数
Agent 每做一步都叫大模型,未必划算。刚读 Sydney Runkle 写的 Jev/LangChain 长文:模型路由、工具调用前的分类,可以交给只返回选项或分数的模型;真正需要解释和生成时,再用语言模型。
我觉得关键是边界。选项有限、错判代价可衡量的步骤,适合用轻量分类器。涉及外部副作用的工具调用,概率分数