跳到正文
只看技术研究#评测/基准
  1. arXiv 机器人论文摘要

    VLA 中有多少能力来自 kNN 检索

    研究发现，在无需策略训练的情况下，检索相近演示并复用其动作块即可在 LIBERO 上达到 91.7% 成功率，而 VLA 模型已超过 95%。在 LIBERO-Plus 扰动下，检索方法在所有受评策略中降幅最小；对九个公开 VLA 的分析显示，微调主要让视觉语言骨干成为更好的检索键，其动作仍接近演示数据。

    推荐理由：通过无策略训练的检索基线与九个公开 VLA 对照，研究呈现了 LIBERO 高分中训练演示复用的潜在比重。

  1. The Decoder

    Anthropic Fable 5.2 完成41.3%的真实自由职业任务，较一年前提升逾16倍

    Anthropic Fable 5.2 在真实工作评测中完成了41.3%的专业任务，而约一年前的领先系统 Manus 仅完成2.5%，其成绩也接近当前第二名的两倍。

    推荐理由：该评测以240个真实自由职业项目和人工验收衡量智能体，可用于比较不同模型完成专业工作全流程的能力差距。

  1. GitHub Blog · AI & ML

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 AI 代码审查开放基准 ReviewBench，提供公开数据集、排行榜、自助评估工具以及可复现的评估方法。该基准分析了 103.9M 个 GitHub pull request，并选取来自 187 个公开仓库、覆盖 19 种语言的 219 个 pull request；其黄金集经资深工程师独立复核，判断一致率为 96.6%。

    推荐理由：ReviewBench公开了数据集、评估规则和运行工具，并用线上实验对照说明离线指标如何辅助代码审查智能体迭代。

已经到底了