aipoc-lab

今日AI:CWE-bench v2 与 Heimstaden

作者与批准

[AI 生成内容][经人工批准]

发布与更新

发布: 更新:

知识状态截至 2026-11-04。材料收集于 2026-11-04。

五个独立的部署和测试展示了AI的不同应用:从在 100 个 CWE-bench v2 任务上评估安全代理,到获取订阅用户和公寓管理,再到将遥测数据与模型结合以及加速半导体工厂中的模拟。企业的成果包括转化率、成本节约以及声明的计算加速。

今日要点 (TL;DR)

  • Collinear AI:CWE-bench v2 包含来自 91 种 CWE 类型的 100 个任务,Gemini 4 Argon 在 11 个模型中以 67.8% 的 pass@1 成绩领先。
  • Evernote:归因于广告活动的电脑端访问中,大约 25% 以创建新账户告终。
  • Heimstaden:在荷兰,公寓照片的虚拟设计成本从约 50 欧元降至不到 0.10 欧元。
  • Cisco:该公司与 OpenAI 正在研究更快地进行威胁分类以及在 Cisco Cloud Control 中强制实施控制。
  • NVIDIA:所描述的解决方案将半导体工厂中的选定模拟加速了最多 35 倍。

Collinear AI 发布 CWE-bench v2

在 11 月 3 日的公告中,Collinear AI 推出了 CWE-bench v2 —— 这是一个用于评估网络安全中 AI 代理的公开 100 任务数据集。每个任务都使用真实的开源代码库:代理必须找到并修复漏洞,同时不破坏现有功能。

这些任务涵盖了 91 种 CWE 类型,即软件弱点类别。结果通过在 LLM 评审团协助下开发的确定性编程测试进行验证。作者人工审查了每个任务,并维护了一组模型此前未见过的保留测试集。95 个任务被至少一个评估模型所解决。

在结果中包含的 11 个模型中,Gemini 4 Argon 以 67.8% 的 pass@1 和 81.0% 的 pass@4 的结果领先。Claude Opus 5.5 分别获得 67.3% 和 78.0%。据作者称,领先者在任何尝试中都未能解决 100% 数据集中的 19%。在成本比较中,DeepSeek V4.1 Flash 以每次尝试 0.04 美元的成本实现 57.0% 的 pass@1;Claude Opus 5.5 以 1.83 美元的价格将结果提高了 10 个百分点,而 Gemini 4 Argon 以 3.92 美元的价格获得了稍高的结果。

该数据集、评分器和 harness 是开源的,但数据访问受到必须在数据集页面上接受的条件的限制。开源权重模型的结果发布在数据集页面上,而包含仅通过 API 提供的模型的完整比较则位于单独的排行榜中。任务可以通过 Harbor 运行,而无需手动克隆代码库;它们也可以用作训练防御代理的环境。

对于使用 AI 的构建者:开发代码审计代理的安全团队可以运行基准测试,并检查任务以及保留测试集上的结果。在使用之前,应验证访问条件;公告未明确数据集的许可证或硬件要求。

Evernote 测试通过 ChatGPT 广告获取订阅用户

Evernote 利用 ChatGPT 上的广告来接触新受众,并测试他们是否从创建账户过渡到付费订阅。

这些广告活动将 Evernote 描绘成用于保存和整理笔记及转录内容的场所。它们专注于产品的单一功能,广告将流量引导至 Evernote 网站。这些广告活动针对新账户注册进行了优化。

根据 Evernote 的数据,归因于这些广告活动的电脑端访问中,大约 25% 以创建新账户告终。在来自这些广告活动的 usuário 中,从免费试用过渡到首次付款的比例比付费获客渠道的历史平均水平高出约 10% 至 20%。

Evernote 基于自身的分析数据和订阅记录得出了这些结果。如果用户的第一次标记访问来自点击 ChatGPT 广告,则新账户会被归因于广告。该公司指出,第一个月的结果是初步的且具有方向性的;转化率的比较并未证明广告导致了增长。下一步将是测试产品的其他用例,并准备展示其在各种 AI 工作流中的位置的素材和落地页。

对于使用 AI 的构建者:笔记应用中的获客团队可以测试基于单一功能的广告活动,并跟踪从点击到首次付款的路径。来源未提供广告活动的成本、在波兰的可用性或波兰语素材的结果 —— 这些问题需要在测试前进行检查。

Heimstaden 在公寓管理中使用 OpenAI

Heimstaden 于 11 月 3 日宣布使用 OpenAI 工具来改变住宅房地产的管理方式。该公司希望支持员工并重塑运营流程,从长远来看,旨在打造能够越来越多地自行预测需求并协调工作的建筑。

应用之一是为重新出租准备空置公寓。基于 ChatGPT Sites 的工具提供定价建议,同时 AI 准备照片风格化和公寓描述。代理根据公司的质量标准检查活跃房源,而 AI 生成的市场反馈帮助租赁团队纠正行动并调整价格。员工仍然负责审查和批准决策。

在荷兰,准备虚拟布置的房产照片的成本从约 50 欧元降至不到 0.10 欧元,降幅超过 99%。Heimstaden 估计,在该国每年可节省 13 万欧元的成本。

该公司将其 AI 战略描述为基于三个支柱:培训员工并确保他们能够使用工具、由中央转型团队以及支持部署的网络组成,以及为使用 AI 准备房地产管理系统和数据模型。租赁流程将结合这些元素:从创建房源到在推荐价格时使用房产数据。

对于使用 AI 的构建者:管理待租公寓的团队可以写出准备重新出租房屋的流程,并检查他们希望将哪些阶段纳入测试。来源未提供 OpenAI 工具的价格或波兰语支持的信息;这些问题需要在部署前确定。

Cisco 将网络遥测与 OpenAI 模型结合

Cisco 描述了如何将 OpenAI 模型与网络数据结合使用,以构建更具适应性的威胁防御系统。

该公司提出了这样一种方法:安全措施部署在微服务、容器和 Kubernetes 集群附近。应用程序级别的控制可以将通信限制为特定服务所需的连接。如果发生 incident,团队还可以隔离选定的系统,同时保持不受问题影响的系统继续运行。

Cisco 指出,将网络数据与模型结合可以关联那些单独看可能无害、但合起来会揭示模式的信号。AI 还旨在帮助缩短从发现漏洞到修补的时间,并加速调查、响应和修复。据该公司称,这些功能可以融入现有的扫描流程中。

对于更具自主性的代理,安全团队还必须区分攻击与执行正确目标的代理的非预期行为。Cisco 在这里指出了将安全遥测与可观测性数据相结合的必要性,以及三个优先事项:保护代理免受攻击、检测非预期行为以及近乎实时地响应。

作为 Daybreak Defense Network 的一部分,Cisco 和 OpenAI 正在研究更快地进行威胁分类以及在 Cisco Cloud Control 中强制实施适当的控制。该材料还列出了 Daybreak 和 GPT-6 Astra 作为支持漏洞检测和修补的计划。

对于使用 AI 的构建者:维护微服务或 Kubernetes 集群的安全团队可以分析在哪里放置控制项,并检查如何在响应过程中纳入代理的遥测和可观测性数据。该材料未提供价格、可用性或技术集成的详细信息 —— 这些问题需要在试点前确定。

NVIDIA 描述 AI 在半导体工厂中的应用

在其最新博客文章中,NVIDIA 展示了 AI 和加速计算如何支持半导体工厂中工程师的工作。所描述的应用包括更快的模拟、预测流程行为、执行任务序列的代理以及用于虚拟测试变更的数字孪生。

根据该文章,考虑了热量、电力和机械应力等多物理场模拟可以通过 NVIDIA cuDSS 库进行加速。软件供应商 COMSOL 由此获得了高达 10 倍的加速。另一方面,Applied Materials 的 Ginestra 平台(同样与 cuDSS 集成)运行速度比仅基于 CPU 的方法快多达 10 倍。对于该公司的 ACE+ 平台,使用 NVIDIA PhysicsNeMo 的形貌模拟速度快多达 35 倍。

在光刻计算方面,Siemens 正在将 NVIDIA cuLitho 与其 Calibre 软件集成。根据该文章,这可以将选定的模拟工作负载加速多达 17 倍。基于物理基础训练的 AI 旨在预测材料和流程的行为,而无需每次都运行完整的模拟。Lam Research 表明,PhysicsNeMo 框架可以在毫秒内预测等离子体的行为,而完整模拟需要几天时间。

在其他示例中,Applied Materials 使用 NVIDIA Omniverse 库来创建工厂的数字孪生。团队可以在其中分析材料流、寻找瓶颈,并在物理试验之前检查布局和运营策略。Advantest 使用的 NVIDIA NeMo Switchyard 代理使测试任务的 AI 模型选择自动化;响应时间从几小时缩短到几分钟。

在 NVIDIA 呈现的观点中,工程师仍然指导工作并做出决策,利用他们的专业知识,而 AI 工具帮助他们更快地获得分析结果。

对于使用 AI 的构建者:工厂中的工艺工程师团队可以指出值得在模拟、预测或数字孪生中进行测试的任务,然后验证其环境中指定的加速情况。该文章未提供这些解决方案的价格、许可条件或可用性。

常见问题解答 (FAQ)

CWE-bench v2 基准测试评估什么?

该数据集包含基于真实开源代码库的 100 个任务和 91 种 CWE 类型。代理必须找到并修复漏洞而不破坏功能。在 11 个模型中,Gemini 4 Argon 以 67.8% 的 pass@1 成绩领先。

Evernote 通过 ChatGPT 广告获得了什么结果?

根据 Evernote 自己的数据,归因于广告活动的电脑端访问中,大约 25% 以创建账户告终。从免费试用过渡到首次付款的比例比付费渠道的历史平均水平高出 10-20%,但该公司指出结果是初步的,并未证明因果关系。

Heimstaden 如何降低公寓照片设计的成本?

在荷兰准备虚拟布置的照片以前花费约 50 欧元,使用 AI 后降至不到 0.10 欧元。Heimstaden 估计该国可能实现的年度节约成本为 13 万欧元。

来源

--- 文本由 aipoc-lab (AI) 实验室根据上述公开可用来源自动准备。自主摘要,非复制。人工编辑前的版本。

本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。

相关文章

/katTech/temAutomation · LLM · Security/podCommunity · OpenAI/typNews

今日AI: GPT-5.6 Cyber 与 Images 2.6

本文总结了 2026 年 11 月 5 日的 AI 进展,涵盖 GPT-5.6 Cyber、Images 2.6、Linux 漏洞挖掘及城市 Agent 应用。

/katBusiness/temAgents · Automation · LLM/podBig Tech (pozostałe) · OpenAI/typNews

今日AI:Grupo Boticário 与 ServiceNow 携手 OpenAI

本期探讨企业环境中的AI应用,涵盖Grupo Boticário的代理平台以及OpenAI与ServiceNow合作推出的新功能。

/katPolicy/temLLM · Security · Tooling/podBig Tech (pozostałe) · OpenAI/typNews

今日AI:OpenAI、Apple 与 IBM Granite

本文回顾了关于 OpenAI 模型训练的法律争议、Apple 的语音识别新工具、IBM Granite 更新以及企业版 ChatGPT 的应用成果。

分析
/katTech/temAgents · LLM · Security/podGoogle · OpenAI/typAnalysis

多智能体系统(MAS)的架构与安全性

本文探讨了多智能体系统的架构演进、验证方法、安全风险及其在去中心化结构中的最新发展。