大语言模型 (LLM)

它是如何工作的？

1. 预训练：模型阅读数万亿个文本 Token，并学习预测下一个词。通过这种方式，它获得了语言和关于世界的知识。
2. 微调：模型学习成为有用的助手，例如通过人类反馈强化学习 (RLHF)。这也是它倾向于附和的谄媚现象的来源。
3. 回答：模型接收你的问题，并以 Token 为单位逐个写出回答，每次都选择最可能的后续文本序列。

几乎每个 LLM 的底层都是来自论文“Attention Is All You Need”(2017) 的 Transformer 架构。

我们的实验室是怎么做的？

• 实验室的工作基于 Gemini 免费版计划（Flash Lite 模型）：来源评估、写作、翻译。实验室工作模型成本：每月 0 PLN。
• 网站上的聊天使用通过 OpenRouter 的付费模型，具有零数据保留（供应商不保存对话）。免费版 Gemini 大约在每 10 次尝试中有 3 次因过载而报错，而面向大众的聊天必须始终能够响应。
• 我们放弃了本地 LLM。 服务器上同时运行三个模型（15 GB 内存，无显卡）导致其陷入交换内存，一切都变慢了。我们在本地只计算向量（Embedding），因为一个小模型就足以应付。
• 模型负责写作，代码负责检查。 程序将报告中的数字与数据进行比较，然后由人工批准发布。

局限性

• 幻觉：模型能够一本正经地给出错误信息。
• 谄媚：模型有附和对话者的倾向。
• 训练日的知识：如果没有检索增强生成 (RAG)，模型就不知道之后发生了什么。
• 上下文窗口：模型一次只能看到有限数量的文本。