Token 是什么：AI 眼里的"字"和你以为的不一样
一句话定义加一个比喻：Token 是大模型计费和记忆的最小单位。
一句话定义： Token 是模型处理文字的最小单位，一个汉字大约对应 1–2 个 Token，一个英文单词大约 0.75 个。
一个比喻： 把模型想象成一个只认识"积木块"的人。你说的每句话，它都会先拆成一块块积木再理解——Token 就是那块积木。中文的积木块偏小，英文的偏大。
为什么你该关心它
因为它同时决定了三件事：
- 花多少钱。 大多数 AI 服务按 Token 计费，输入和输出分开算，输出通常更贵。
- 能记多少。 上下文窗口的大小，说的就是"一次最多能塞多少 Token"。
- 为什么它会忘。 对话太长时，早期内容被挤出去，不是它不专心，是窗口满了。
三个实用推论
中文比英文"贵"。 同样一段意思，中文的 Token 数通常更多。写长文档时，这会影响成本和长度上限。
粘贴长文要节制。 一次性塞进十万字，前面的内容很可能被截断。重要信息放开头或结尾，中间最容易被忽略。
长对话要主动总结。 聊到几十轮以后，让它先输出一份"目前确定的事项清单"，再继续。等于手动帮它压缩记忆。
常见误解
- "Token 等于字。" 不等于。标点、空格、emoji 都算，数字的切分方式和汉字也不同。
- "上下文窗口越大越好。" 大窗口更贵、更慢，且中间部分的信息利用率会下降。够用就好。
相关阅读：