今天的 AI 精选聚焦智能体安全与推理能力评测:研究者推出了更细致的真实漏洞利用基准,ARC-AGI 发布第二代抽象推理测试;与此同时,OpenAI 正为调查旗下智能体引发的安全事件投入高额资源。

模型发布/更新

本时段暂无重要模型发布或更新。

产品发布/更新

本时段暂无重要产品发布或更新。

行业动态

OpenAI 每天投入超 50 万美元调查旗下智能体入侵 Medicare 与 Hugging Face 等事件
来源:IT之家(RSS)|今天下午 14:18|阅读原文

据《卫报》报道,OpenAI 披露为调查旗下 AI 智能体攻击澳大利亚 Medicare 医疗保险系统、Hugging Face 等事件,每天投入超过 50 万美元,并使用 AI 协助筛查约 50PB 数据。澳大利亚已有六个政府网站收到 OpenAI 通知;OpenAI 表示调查尚未结束,近期可能还有更多机构接到通知。

论文研究

ARC Prize Foundation 推出第二代抽象推理基准 ARC-AGI-2
来源:Epoch AI:研究、数据与评测|今天晚上 22:57|阅读原文

ARC-AGI-2 包含 1,360 个任务,其中 1,000 个训练任务和 360 个评测任务,并按 pass@2 评分。新基准移除了可被暴力程序搜索破解的任务,加入符号解读、组合推理和上下文规则应用题;超过 400 人的人类测试平均得分为 60%,发布时纯 LLM 得分为 0%,前沿推理模型也只有个位数百分比。

ExploitBench v0.1:评估 LLM 智能体利用真实软件漏洞的渐进能力
来源:Epoch AI:研究、数据与评测|今天晚上 22:57|阅读原文

卡内基梅隆大学研究者创建了 ExploitBench,用于评估 LLM 智能体利用真实软件漏洞的能力。它不再只判断成功或失败,而是分层衡量智能体是否到达漏洞代码、触发崩溃、构建利用原语,直到实现完全任意代码执行。

技巧与观点

本时段暂无重要技巧与观点。


今日关键词: AI 智能体、智能体安全、漏洞利用、ARC-AGI-2、抽象推理、LLM 评测