aipoc-lab

今日AI:UltraQuant AMD与Liquid AI LFM2.5-VL

作者与批准

[AI 生成内容][经人工批准]

发布与更新

发布: 更新:

知识状态截至2026-09-26。素材收集于2026-09-25至2026-09-26期间。

今日汇总涵盖了语言模型优化和云服务领域的新动态。我们介绍了OpenAI工具在车队管理中部署的结果、GeForce NOW服务的更新,以及视觉语言模型架构中的技术改进。同时分析了在AMD Instinct处理器上加速流程的UltraQuant技术,以及推荐系统中用于多任务模型关系管理的新框架。

今日要点 (TL;DR)

  • Proaction:在车队管理中利用Codex、GPT-Live-1和GPT-6 Astra模型使销售额增长了60%。
  • GeForce NOW:平台推出了游戏Control Resonant,并宣布支持搭载Gemini Intelligence的笔记本电脑。
  • Liquid AI:模型LFM2.5-VL-DSpark利用投机解码,将生成token的速度提高了三倍以上。
  • UltraQuant:在AMD Instinct处理器上的优化方法将KV-cache压缩至4-bit,每秒token数提升了29%。
  • 关系学习框架:多任务系统中标签分布逼近的新方法提高了YouTube的推荐准确率。

Proaction在车队管理中部署OpenAI工具

Proaction公司于9月25日宣布,正在利用Codex、GPT-Live-1和GPT-6 Astra来构建、运营和销售现代车队管理系统。通过集成这些解决方案,该公司使销售额增长了60%,并节省了超过75小时的工作时间。

对于AI构建者:提供专业商业操作系统的公司可以了解语言模型如何支持销售流程的自动化。该公告未明确说明这些解决方案的许可证成本,也未说明是否需要客户侧的技术基础设施调整——这些数据在部署前需要进行验证。

GeForce NOW支持游戏Control Resonant

GeForce NOW平台于9月24日宣布在云端推出游戏Control Resonant。Remedy Entertainment工作室的这款作品让玩家扮演Dylan Faden,他利用超自然能力在另一个版本的曼哈顿对抗威胁。

Ultimate订阅用户可以以GeForce RTX 5080级别的性能运行该游戏,利用NVIDIA DLSS 4技术、光线追踪、NVIDIA Reflex以及高达5K分辨率并支持HDR的电影级流式传输。该解决方案免去了本地安装100 GB大小游戏的需要。截至9月27日,平台提供了一个订阅套餐,购买12个月会员即可免费获得Control Resonant游戏。

该公司还宣布将在Googlebooks上引入对该服务的支持,这是一类专为Gemini Intelligence设计的新型笔记本电脑。这些设备配备了Titan C芯片和集成系统安全。今年晚些时候,与GeForce NOW的集成将使该硬件能够以GeForce RTX的性能流式传输游戏。

此外,其他游戏也加入了GeForce NOW库,包括提供动漫风格开放世界体验的DragonSword: Awakening。该游戏支持Steam Deck、Firefox浏览器和Amazon Fire TV等设备。其他新品包括Dune: Awakening、Stick It to the Stickman以及LEGO Batman: Legacy of the Dark Knight。首次使用该平台的个人可以使用单日通行证测试云端访问,其费用可从首月订阅费中扣除。

对于AI构建者:云处理系统架构师可以分析利用DLSS 4技术的高分辨率流式传输机制,以优化远程图形渲染时的网络负载。公告中未提供有关不同网络条件下传输延迟以及特定地理区域云基础设施可用性的技术规范,这在实施自己的基于GeForce NOW的解决方案之前需要进行验证。

Liquid AI通过LFM2.5-VL-DSpark系统加速视觉语言模型

Liquid AI公司于9月24日发布了一个实验性的草稿模型(drafter),用于优化视觉语言模型LFM2.5-VL-3B的推理。该解决方案利用投机解码技术,在对内存需求增长极小且不影响结果质量的情况下,提高了token生成速度。

额外的组件增加了2.8亿个参数,与3B基础模型相比增长了8.9%。在推理过程中,它使用了一个具有4层注意力机制和8或9大小块的架构,具体取决于所使用的硬件。

测试结果表明,与标准模型相比,解码速度显著加快。在配备Apple芯片(例如M5 Max)的设备上,解码速度根据任务不同提升了2.30倍至3.13倍,端到端延迟改善了1.56倍至2.62倍。在H100设备上,解码速度提升了2.4倍至2.66倍,端到端延迟改善了1.64倍至2.27倍。

作者指出,投机解码仅加速解码阶段,而不加速图像编码过程或prefill阶段。当这些阶段在总响应时间中占主导地位时,使用DSpark的收益较小。该系统支持llama.cpp、MLX-VLM和SGLang。这些模型可在Hugging Face平台上以Safetensors和GGUF格式获取。

对于AI构建者:在边缘设备上部署视觉系统的程序员可以使用创作者指定的运行参数将该模型与诸如SGLang之类的库集成。从文档中无法得知该解决方案是否在同等程度上支持所有自然语言,也无法得知商业应用时的许可证限制是什么——在生产环境中部署之前必须对其进行验证。

AMD Instinct处理器上的UltraQuant

AMD公司于9月25日公布了UltraQuant技术的细节,该技术提高了AMD Instinct图形处理器上处理代理型语言模型时的解码吞吐量并降低了延迟。该解决方案专门用于在长上下文环境中运行的模型,例如带有MXFP4权重的Qwen3.8-2.4T。

UltraQuant技术利用CDNA4单元在MI355X芯片中对FP4格式的原生支持,将键值缓存(KV-cache)压缩至4-bit。与传统压缩不同,该方法不需要在矩阵乘法操作之前解压数据,因为缩放直接集成到了MFMA指令中。在使用vLLM(版本0.19.2rc0)、AITER(0.1.16.post3)和FlyDSL(0.2.0)并在C=32负载下进行的测试中,与最快的8-bit后端相比,UltraQuant实现了高出29%的每秒token数和低24%的延迟。

在低负载配置中,性能与标准的8-bit方法相似,但UltraQuant的优势随着并发查询数量的增加而增长。作者还指出可选择使用多Token预测(MTP)头部,在中等负载(最高达C=16)下,它能额外将token之间的延迟减少12%至22%,而在高负载下则建议关闭它。在GPQA-Diamond和SWE-bench Lite数据集上的研究证实,UltraQuant的应用不会影响模型可测量的推理准确性。

对于AI构建者:维护带有长对话会话的代理系统的工程团队可以在AMD Instinct基础设施上测试此方法。材料中未提供有关特定软件许可证的要求,也未提供除CDNA4架构之外其他硬件环境中UltraQuant可用性的信息——这些方面在生产部署前需要进行验证。

多任务模型中的新关系学习框架

根据9月25日的一篇出版物,研究团队提出了一种多任务模型中多任务间关系的学习方法。该解决方案基于通过有针对性的成对关系来逼近联合标签分布,这避免了建模完整联合空间的复杂性。作者在YouTube推荐系统中测试了该方法的有效性,将其应用於通知模块、主页以及“接下来播放”功能。结果表明准确度和用户满意度均有所提高。该框架能够利用迁移学习并改善信息提取。文档中还包含一个工作流模板,旨在促进未来在其他多任务系统中的部署。

对于AI构建者:维护基于多任务的推荐系统的团队可以检查基于成对关系的方法是否会影响其模型的有效性指标。出版物中未指定支持此框架所需的硬件要求,也未提供有关使用所提出的工作流模板的许可证信息。

常见问题解答 (FAQ)

Liquid AI模型在Apple M5 Max芯片上的解码性能提升了多少?

在使用Apple芯片(如M5 Max)的设备上,应用LFM2.5-VL-DSpark模型后,解码速度根据所执行的任务不同提升了2.30倍至3.13倍。端到端延迟的改善则在1.56倍至2.62倍之间。

在AMD Instinct处理器上应用UltraQuant技术有哪些好处?

UltraQuant技术将KV-cache内存压缩至4-bit,与最快的8-bit后端相比,每秒token数提高了29%,延迟降低了24%。该方法不需要在矩阵乘法操作之前解压数据。

Źródła

本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。

相关文章

[Tech][Agents][Automation][LLM]

AI如何改变专业服务与数据

本文探讨了人工智能如何通过高级领域智能和自动化重塑法律、医疗和广告等专业服务领域的运营模式与数据质量管理。

[Tech][Agents][LLM][Open Source]

今日AI:Mistral Timestral与Meta Muse Spark

本文介绍了Mistral的时间序列模型、NVIDIA的Nemotron新版本、Meta的Muse Spark Open、Google的Universal Cart以及GeForce NOW的DLSS 4.5更新。