第 32 题：工具学习（Tool Learning）与如何评估 Agent 的工具使用能力

题目

什么是工具学习（Tool Learning）？如何评估 Agent 的工具使用能力？

一、什么是工具学习？

工具学习（Tool Learning） 指让模型学会在何时选何种工具、如何填参、如何根据结果再决策。包括：

• 工具选择：给定任务与工具列表，正确选出要调用的工具（可能多个、有顺序）。
• 参数生成：根据工具 schema 与任务，生成合法、语义正确的参数（如查询词、API 参数）。
• 结果利用：根据工具返回（含错误、空结果）决定下一步——继续调用、换工具、或给出最终答案。
• 多步编排：在多步任务中正确编排工具调用顺序与依赖。

实现路径包括：纯 prompt（zero/few-shot）、微调（用 (任务, 工具调用轨迹) 数据）、RL（以任务成功为 reward 优化工具选择与调用）、以及 API / 工具描述增强（如 Gorilla、APIBench 等提供高质量 API 文档与示例）。

二、评估维度

• 工具选择准确率：在标注了“应调用工具”的数据上，模型是否选对工具（或工具序列）。
• 参数正确率：参数是否合法（符合 schema）、是否与任务匹配（如查询词是否相关）。