基准评估（Benchmarking）是通过设计标准化的测试任务和评估指标来系统性地衡量 AI 模型能力的研究方法。一个好的基准测试需要具备区分度、公平性、可复现性和时效性，能够真实反映模型在特定领域或通用任务上的性能水平。随着 AI 模型能力的快速提升，基准评估本身也面临着被”饱和”或被”游戏化”的挑战。
AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward（2026-05-12）：在本文中，我们提出了 AlphaGRPO，这是一种新颖的框架，它将组相对策略优化 (GRPO) 应用于 AR-扩散统一多模态模型 (UMM)，以增强多模态生成能力，而无需额外的冷启动阶段。
TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection（2026-05-12）：我们推出了 TextSeal，这是一种适用于大型语言模型的最先进的水印。
KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference（2026-05-12）：我们引入了 KV-Fold，这是一种简单的、免训练的长上下文推理协议，它将键值 (KV) 缓存视为序列块左折叠中的累加器。
Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts（2026-05-12）：稀疏专家混合 (SMoE) 模型可以有效地扩展语言模型，但训练它们仍然具有挑战性，因为路由可能会崩溃到少数专家身上，而辅助负载平衡损失可能会减少专业化。
MEME: Multi-entity & Evolving Memory Evaluation（2026-05-12）：基于 LLM 的代理越来越多地在持久环境中运行，它们必须在许多会话中存储、更新和推理信息。
Task-Adaptive Embedding Refinement via Test-time LLM Guidance（2026-05-12）：我们探索了法学硕士引导的查询细化范式的有效性，以扩展嵌入模型的可用性以应对零样本搜索和分类任务。
LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues（2026-05-12）：长期记忆对于专门网络环境中的代理至关重要，其中的成功取决于对界面可供性、状态动态、工作流程和重复出现的故障模式的回忆。
Shields to Guarantee Probabilistic Safety in MDPs（2026-05-11）：屏蔽是一种重要的基于模型的技术，可确保自主代理的安全。
Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why（2026-05-11）：在策略蒸馏为训练推理模型提供密集的、按令牌的监督；然而，目前尚不清楚该信号在哪些条件下有益，在哪些条件下有害。
DataMaster: Towards Autonomous Data Engineering for Machine Learning（2026-05-11）：随着模型系列、训练方法和计算预算变得越来越标准化，机器学习系统的进一步收益越来越依赖于数据。
Engineering Robustness into Personal Agents with the AI Workflow Store（2026-05-11）：人工智能代理的主导范例是“即时”循环，其中代理综合计划并在几秒或几分钟内执行操作以响应用户提示。
Shepherd: A Runtime Substrate Empowering Meta-Agents with a Formalized Execution Trace（2026-05-11）：我们引入 Shepherd，这是一种函数式编程模型，它将目标代理上的元代理操作形式化为函数，并在精益中机械化核心操作。
Confidence-Guided Diffusion Augmentation for Enhanced Bangla Compound Character Recognition（2026-05-11）：由于字符结构复杂、类内差异大以及高质量注释数据的可用性有限，手写孟加拉复合字符的识别仍然是一个具有挑战性的问题。
Variational Inference for Lévy Process-Driven SDEs via Neural Tilting（2026-05-11）：对极端事件和重尾现象进行建模对于在金融、气候科学和安全关键型人工智能等领域构建可靠的预测系统至关重要。
VecCISC: Improving Confidence-Informed Self-Consistency with Reasoning Trace Clustering and Candidate Answer Selection（2026-05-08）：扩展推理时间推理的标准技术是自我一致性，即从法学硕士中抽取多个候选答案，并选择最常见的答案。
EmambaIR: Efficient Visual State Space Model for Event-guided Image Reconstruction（2026-05-08）：最近基于事件的图像重建方法主要依靠卷积神经网络（CNN）和视觉变换器（ViT）来处理补充事件信息。
Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims（2026-05-08）：机械可解释性论文越来越多地使用因果词汇：电路、中介、因果抽象、单一语义。
Accurate and Efficient Statistical Testing for Word Semantic Breadth（2026-05-08）：通过上下文化的标记嵌入，测量单词含义的广度或其在上下文中的传播已经变得可行。
CA-SQL: Complexity-Aware Inference Time Reasoning for Text-to-SQL via Exploration and Compute Budget Allocation（2026-05-08）：虽然推理时间学习的最新进展改进了文本到 SQL 任务的 LLM 推理，但当前的解决方案仍然难以在 Bird-Bench (BIRD) 基准测试中最具挑战性的任务上表现良好。
Conformal Path Reasoning: Trustworthy Knowledge Graph Question Answering via Path-Level Calibration（2026-05-08）：知识图问答（KGQA）已显示出有基础且可解释的推理的前景，但现有方法往往无法对检索到的答案提供可靠的覆盖保证。
LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling（2026-05-08）：测试时间缩放（TTS）已成为通过在推理过程中分配额外计算来提高大型语言模型性能的有效方法。
Chapter 2: Geometry of the Fitness Surface and Trajectory Dynamics of Replicator Systems（2026-05-06）：我们研究复制系统平均适应度表面的几何形状及其与进化轨迹动力学的关系。
Superintelligent Retrieval Agent: The Next Frontier of Information Retrieval（2026-05-07）：检索增强代理越来越多地成为大型组织知识库的接口，但大多数仍然将检索视为黑匣子：它们发出探索性查询，检查返回的片段，并迭代地重新制定，直到出现有用的证据。
AI Co-Mathematician: Accelerating Mathematicians with Agentic AI（2026-05-07）：我们推出了 AI 联合数学家，这是数学家可以交互地利用 AI 代理进行开放式研究的工作台。
DINORANKCLIP: DINOv3 Distillation and Injection for Vision-Language Pretraining with High-Order Ranking Consistency（2026-05-07）：对比语言图像预训练（CLIP）存在两个结构性弱点：对称的 InfoNCE 损失丢弃了不匹配的批内对之间的相对顺序，全局池化将视觉表示折叠成对细粒度局部结构不敏感的语义瓶颈。
DPM++: Dynamic Masked Metric Learning for Occluded Person Re-identification（2026-05-07）：尽管行人重识别取得了令人瞩目的进展，但障碍物造成的遮挡在实际应用中仍然是一个悬而未决的问题。
GlazyBench: A Benchmark for Ceramic Glaze Property Prediction and Image Generation（2026-05-07）：由于化学成分复杂，开发陶瓷釉料是一个成本高昂、耗时的反复试验过程，给独立艺术家带来了沉重的负担。
Are We Making Progress in Multimodal Domain Generalization? A Comprehensive Benchmark Study（2026-05-07）：尽管用于增强模型鲁棒性的多模态域泛化（MMDG）越来越受欢迎，但仍不清楚报告的性能增益是否反映了真正的算法进展，还是不一致的评估协议的产物。
Relit-LiVE: Relight Video by Jointly Learning Environment Video（2026-05-07）：最近的进展表明，大规模视频扩散模型可以重新用作神经渲染器，首先将视频分解为内在场景表示，然后在新颖的照明下执行前向渲染。
BAMI: Training-Free Bias Mitigation in GUI Grounding（2026-05-07）：GUI 接地是使 GUI 代理能够执行单击和拖动等任务的关键功能。
ActCam: Zero-Shot Joint Camera and 3D Motion Control for Video Generation（2026-05-07）：对于艺术应用，视频生成需要对表演和摄影进行精细控制，即演员的动作和摄像机轨迹。
Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents（2026-05-07）：大型语言模型 (LLM) 为深度研究代理提供支持，将来自数百个网络资源的信息合成为引用的报告，但这些引文无法得到可靠验证。
Can RL Teach Long-Horizon Reasoning to LLMs? Expressiveness Is Key（2026-05-07）：强化学习 (RL) 已被应用于改进大型语言模型 (LLM) 推理，但由于缺乏受控、可扩展的环境，对训练如何随任务难度进行扩展的系统研究受到了阻碍。
Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients（2026-05-07）：由于确定性验证，具有可验证奖励的强化学习（RLVR）成为增强大型语言模型（LLM）推理能力的主导范式。
When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels（2026-05-07）：在相关语言、部门或监管制度存在标记基准之前，许多部署必须比较候选语言模型的安全性。
Verifier-Backed Hard Problem Generation for Mathematical Reasoning（2026-05-07）：大型语言模型（LLM）展示了解决科学和数学问题的强大能力，但它们难以产生有效的、具有挑战性的和新颖的问题——这是推进 LLM 培训和实现自主科学研究的重要组成部分。
Automatically Finding and Validating Unexpected Side-Effects of Interventions on Language Models（2026-05-06）：我们提出了一个自动化的对比评估流程，用于审核干预措施对大型语言模型的行为影响。
Beyond Semantics: An Evidential Reasoning-Aware Multi-View Learning Framework for Trustworthy Mental Health Prediction（2026-05-06）：使用文本数据进行的自动心理健康预测通过深度学习和大型语言模型显示出了有希望的结果。
The First Token Knows: Single-Decode Confidence for Hallucination Detection（2026-05-06）：自我一致性通过生成问题的多个采样答案并测量一致性来检测幻觉，但这需要重复解码，并且可能对词汇变化敏感。
MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge（2026-05-06）：背景：现有的 MRI LLM 基准主要依赖于复习书籍的多项选择题，其中顶级专有模型已经得分很高，限制了歧视。
Implicit Representations of Grammaticality in Language Models（2026-05-06）：语法性和可能性是人类语言中不同的概念。
Transformers with Selective Access to Early Representations（2026-05-05）：最近的几个 Transformer 架构将后面的层暴露给在最早的层中计算的表示，这是由于观察到随着残余流在深度上反复转换，低级特征可能变得更难恢复。
Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators（2026-05-05）：如今，人工智能生成的文本是跨领域和异构生成管道大规模生成的，这使得分布式转变的鲁棒性成为监督二进制检测器的核心要求。
Logical Consistency as a Bridge: Improving LLM Hallucination Detection via Label Constraint Modeling between Responses and Self-Judgments（2026-05-05）：大型语言模型 (LLM) 很容易出现事实幻觉，从而影响其在现实应用中的可靠性。
EQUITRIAGE: A Fairness Audit of Gender Bias in LLM-Based Emergency Department Triage（2026-05-05）：急诊科分诊为患者分配一个视力评分，以确定治疗的优先顺序，临床证据记录了人类视力评估中持续存在的性别差异。
Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems（2026-05-05）：推理密集型检索旨在找出支持下游推理的证据，而不仅仅是匹配主题相似性。
OpenSeeker-v2: Pushing the Limits of Search Agents with Informative and High-Difficulty Trajectories（2026-05-05）：深度搜索能力已经成为前沿大语言模型（LLM）代理不可或缺的能力，但其发展仍然由工业巨头主导。
Safety and accuracy follow different scaling laws in clinical large language models（2026-05-05）：临床法学硕士通常通过增加模型大小、上下文长度、检索复杂性或推理时间计算来扩展，隐含的期望是更高的准确性意味着更安全的行为。
Laplacian Frequency Interaction Network for Rural Thematic Road Extraction（2026-05-04）：农村专题路网建设旨在从农机运动轨迹图像中提取拓扑道路结构。
AlbumFill: Album-Guided Reasoning and Retrieval for Personalized Image Completion（2026-05-04）：个性化图像补全旨在恢复个人照片中的遮挡区域，同时保留身份和外观。
PubMed-Ophtha: An open resource for training ophthalmology vision-language models on scientific literature（2026-05-04）：视觉语言模型为眼科带来了巨大的希望，但其发展依赖于仍然稀缺的大规模、高质量的图像文本数据集。
Foundation Models to Unlock Real-World Evidence from Nationwide Medical Claims（2026-05-04）：来自大规模现实世界数据 (RWD) 的证据越来越多地为监管评估和医疗保健决策提供信息。
When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition（2026-05-04）：自动语音识别（ASR）系统对于构音障碍和其他非典型语音仍然很脆弱。
Reinforcement Learning for LLM-based Multi-Agent Systems through Orchestration Traces（2026-05-04）：随着大型语言模型 (LLM) 代理从孤立的工具用户发展为协调的团队，强化学习 (RL) 不仅必须优化个人操作，还必须优化工作的产生、委托、沟通、聚合和停止方式。
Zhang et al. (2026). AEGIS: A Holistic Benchmark for Evaluating Forensic Analysis of AI-Generated Academic Images. arXiv:2604.28177v1
AEGIS 针对学术领域中 AI 生成图像的取证分析提出了首个综合基准。该基准揭示了一个严峻现实：取证检测能力严重落后于生成技术进步。
方法：AEGIS 从三个维度构建基准：
发现：即使 GPT-5.1 整体性能也仅 48.80%；专家模型定位精度 IoU 仅 30.09%；11 个生成模型使取证准确度低于 50%。MLLM 在文本工件识别上达 84.74%，而专家检测器在二进制真实性检测上峰值 79.54%，揭示了不同模型家族的互补优势。
Ji et al. (2026). TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering. arXiv:2604.28076v1
TopBench 关注表格问答中一类被忽视的查询类型：隐式预测型查询——需要从历史模式中推断未观察到的答案，而非简单的信息检索。
方法：TopBench 包含 779 个样本，涵盖四个子任务：
每个样本要求模型生成包含推理文本和结构化表格的输出，并在文本和代理两种工作流下进行评估。
发现：当前 LLM 在面对隐式预测查询时经常无法正确识别预测意图，默认退化为简单的信息查找操作。准确的意图消歧（intent disambiguation）是引导预测行为的先决条件，而提高预测精度需要集成更复杂的建模或推理能力。
AEGIS 和 TopBench 代表了基准评估从通用向领域专用深化的趋势：
基于 AEGIS、TopBench 及现有文献，以下问题仍待解决：