[AI 词汇表][LLM][成本]
Token和上下文窗口
作者与批准
[AI 撰写] [经人工批准]
更新
28.10.2026
Token是语言模型将每个句子拆分的文本片段：一个短词、较长词的一部分或一个标点符号。上下文窗口是模型一次性能看到的最大Token数：指令、对话、文档以及它自己的回答。所有放不下的内容，对模型而言都不存在。
500
每个聊天问题的字符数
1 200
每个文本片段的字符数
0.08 gr
每次聊天回答的费用
这是如何运作的？
- 模型不读字母或单词，只读Token。常见词是一个Token，罕见的词会被拆分成好几个片段。
- 对于波兰语，同样的文本通常比英语占用更多Token，因为模型的训练主要基于英语，且波兰语单词有许多词尾。
- 供应商按 Token 收费：发送的内容（输入）和模型写的内容（输出）分开计费。输出通常比输入贵好几倍。
- 上下文窗口是模型的工作记忆。冗长的对话最终会放不下，最旧的消息会被挤掉或者必须被总结。
我们的实验室是如何做的？
- 聊天问题：最多 500 个字符。 更长的提问会被聊天程序直接拒绝，不调用模型。这是成本控制和防御攻击的一部分。
- 片段最大 1 200 个字符，模型接收 6 个。 模型收到的不是整篇文章，而是最匹配的片段。Token更少，成本更低，干扰更少。
- 聊天回答成本：约 0.08 gr。 按这个价格，1 000 次提问的成本不到 1 PLN。
- 免费限制不仅计算Token，还计算请求次数。 Gemini的免费计划有每日请求限制，实验室将其分配给多个进程。我们规划工作以保持在限制之内，并在用尽时备有备用模型。
最常见的陷阱
- 把所有东西都丢进上下文。 大窗口很诱人，但模型在长文本中间寻找细节的表现会变差，而且每个Token都要花钱。
- 忘记考虑输出。 “请详尽地写”这类要求比长问题更能推高成本。
- 用单词来计算。 应按Token计算预算，并在你自己的文本上进行测试，特别是波兰语文本。
相关术语
大语言模型 (LLM) · Attention Is All You Need · RAG · Embedding
问答
一个Token是多少？
在英语中平均约为 3/4 个单词。在波兰语中通常更少，因此相同的文本会有更多的Token。
当对话超出上下文窗口时会发生什么？
最旧的部分会被丢弃，或者由应用程序进行总结。除了窗口内的内容，模型记不住任何其他东西。
更大的上下文窗口总是更好吗？
不是。它提供了更多空间，但增加了成本和响应时间，而且模型并不总能很好地利用超长文本的中间部分。
来源
- Liu i in.: Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172
- 实验室：聊天设置（问题限制、片段）、回答成本 (21.10.2026)
下一步