Agent 怎么防止乱操作，怎么评估做得好不好？
先理解原理和示例，再练习完整口述与追问。
回答要点
把外部文档、网页和工具结果当作不可信数据，不能让其中的指令擅自改变任务或权限。使用最小权限、参数校验、必要确认、审计、超时、步骤和费用上限；只写“不要乱操作”的提示词不够。
用固定任务集和回归样本看任务成功率、工具错误率、引用准确性、延迟和成本；评估权限误用及失败后是否能恢复。展示执行进度与结果即可，不依赖模型暴露内部思维过程。
原理拆解
Agent 可靠性要同时约束权限与执行过程：最小必要工具范围，参数和目标验证，明确高风险动作边界，限制循环、时间、费用与数据量，保留可恢复状态和审计记录。评测不仅看最终回答，还要看是否调用正确工具、是否越权、失败能否收敛。
示例与推演
测试集可包含正常任务、工具超时、重复响应、无权限资源、恶意文档指令和无法完成的目标。观察成功率、错误操作率、额外调用数、成本、恢复时间和人工接管比例。对重复写操作用幂等键，执行后验证真实状态，不只相信模型的完成宣言。
易错点
不能只靠一句“禁止危险操作”覆盖全部工程控制。日志本身需要脱敏与访问控制，自动化评测也不能对真实用户数据做不可逆试验。
参考回答可直接练习口述
我不会只靠提示词约束 Agent。外部网页和工具结果都按不可信数据处理，执行能力做最小权限、参数验证、必要人工确认、幂等、审计和超时，并限制步骤数与费用。评估使用固定任务集，记录成功率、错误操作率、失败恢复、首响应与总延迟、成本和引用正确性，再加越权和提示注入用例。用户看到任务状态、工具调用结果和错误即可，不依赖模型输出内部思维链。