Token、上下文窗口、temperature 是什么?
先理解原理和示例,再练习完整口述与追问。
回答要点
Token 是模型处理文本等内容的单位,不等于固定字数。上下文容量有限,通常要考虑输入和输出预算,具体以模型接口为准。多轮历史、检索材料和工具结果都会占预算。
temperature 是部分模型支持的采样参数,不能把调低它当成事实正确性的保证。不同模型的参数支持和含义需查实际文档。上下文窗口说明
原理拆解
Token 是模型处理文本的单位,中文、英文、空格、标点及不同 tokenizer 的划分都不同,不等于字数。上下文窗口约束一次推理可容纳的输入与相关输出等预算,系统指令、历史、检索和工具内容也占用。temperature 调整采样分布的随机性,但支持范围和行为取决于具体模型。
示例与推演
聊天历史过长时,需要保留关键指令和近期对话,按任务检索相关旧内容,必要时生成摘要并保留来源。规划预算时同时预留输出与工具往返内容,不能把全部窗口塞满输入。回答需稳定且有依据时,先提升上下文与校验,再调整模型支持的采样参数。
易错点
低 temperature 不保证事实正确,摘要也可能丢失关键条件。不要把某个模型的 token 换算或参数范围当成所有模型统一常数。
参考回答可直接练习口述
Token 是模型处理内容的单位,不等于固定几个汉字或单词;不同模型的分词和多模态计数不同。上下文窗口限制一次可处理的信息,历史消息、系统指令、检索材料、工具描述与结果都可能占用预算,输出还需预留空间。temperature 影响部分模型的采样分布,较低通常更集中、较高更发散,但不保证正确,也不是所有模型都开放。产品应管理预算、裁剪或摘要,并保留关键事实和工具状态。