作者：Yolo Y. Tang、Daiki Shimada、Jiayue Meng、Jing Bi、Pinxin Liu、Yicheng Wang、Yunzhong Xiao、Zhangyun Tan、Zeliang Zhang、Chao Huang、Susan Liang、Qianxiang Shen、Luchuan Song、Ali Vosoughi、Mingqian Feng、Melika Filvantorkaman、Chenliang Xu
单位： University of Rochester、Sony Group Corporation、Carnegie Mellon University、University of Washington
1. Motivation：视频问答之外，还能怎样检验理解？
视频理解通常通过问答评估：给模型一段视频，再询问物体、动作、空间关系或事件顺序。问题在于，一道题可能依赖单帧就能回答，也可能受到答案先验影响。答对若干离散问题，仍然难以说明模型是否形成了贯穿整段视频的一致场景表示。
BVB（Blender-VideoBench）选择了一个更具约束的任务：要求 Agent 观察视频，编写 Blender 程序，重建物体、布局与相机轨迹，并交付可编辑、可渲染的 .blend 文件。原视频中的物体在什么位置、何时进入画面、相机向哪里转，都需要落实为程序中的具体参数。
这一任务把视觉理解与可执行输出连接起来。模型如果漏掉一把椅子，重建视频里就少了一个实例；如果相机路径错误，物体的出现顺序也会改变。由此可以检查模型把哪些信息带进了重建，同时观察代码执行和工具使用是否能支持这种表达。
2. Insight：同一个重建，需要同时检查外观与事实
2.1 重建让多个局部判断共同接受约束
单独回答“桌子在沙发哪一边”，不要求模型同时给出房间尺度、其他家具和整段相机运动。重建则要求这些判断在同一个场景中共存。一个视角下看似合理的摆放，可能在另一视角暴露尺度、遮挡或相对位置错误。
从这个角度看，BVB 将场景程序作为一种可检查的中间表示。但这也意味着分数会受到编码能力、Blender 熟悉程度和调试策略影响：理解了某个关系却没有正确写进程序，也会导致重建失败。因此，BVB 测的是 Agent 通过程序表达视频理解的综合能力。
2.2 感知相似度与事实保留回答不同问题
一个场景可能保留了大致配色、家具轮廓和镜头运动，却漏掉实例或放错相对位置；另一个场景也可能外观粗糙，但仍能支持正确的空间问答。论文因此设计两条评估轴：Dual VQA 检查原视频中可恢复的时空事实是否保留，Latent Similarity 检查视频表征是否相似。
关键发现是，最强配置的 LS 达到 88.6，DV 只有 53.7。两个数字的量纲含义不同，不能把相减结果解释为统一尺度上的误差；它们共同展示的是：较高的视觉表征相似度，仍然可以与大量具体信息丢失同时出现。
2.3 预算增加，需要伴随更有针对性的检查
在论文测试的部分推理强度序列中，提高推理强度更稳定地提升 LS，DV 则可能持平或下降。这提示一个值得验证的问题：新增计算究竟用于改善几何外观与相机运动，还是用于检查漏掉的物体和错误关系？后者不会仅因模型“想得更久”而自动发生。
这也是 BVB 的诊断价值：它让研究者可以分别观察表现得更像、保留信息更多、消耗预算更高之间的关系，而不只比较一个最终排名。
3. Method：从源视频到两条评估轴
图 1. BVB 的程序化重建与评估流程，对应原论文 Figure 2。图源：BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender。
3.1 数据、可见输入与最终交付物
BVB 使用 VSI-Bench 的 288 个室内第一视角场景与 5,130 个问答对，视频来自 ARKitScenes、ScanNet 和 ScanNet++。Agent 需要依据二维视频观察推断场景，不提供深度图、分割或三维真值。问答对用于后续评估重建保留的信息。
输出不是一个单独的视角截图，而是包含几何、材质、灯光和相机动画的 Blender 场景。外部资产库被禁止，几何须由基础图元与基本操作构建；相机则需要设置位置、旋转关键帧，覆盖源视频的观察过程。这些约束让模型必须把观察转成结构化的场景决定。
3.2 Mini-BVB：观察与编程之间的自主迭代
Mini-BVB 给每种配置提供相同的提示、工具接口和 Docker 沙箱。环境包含 Bash、Python、Blender 4.2 与 FFmpeg，Agent 主要使用两个动作：frames 按时间戳或均匀采样读取视频帧，bash 执行沙箱命令与 Blender 代码。
模型自行决定看多少帧、何时补充观察、迭代多少次。没有另设固定的帧数或步骤预算，但受每场景 3 美元的费用上限约束。
这意味着共享的是成本上限，不是相同的 token 数或观察次数。模型价格、推理强度与工具策略都会影响预算能够支持多少工作。构建结束后，第二阶段对文件进行渲染和评分，评估结果不会重新进入构建回路。
失败场景记零也很关键。如果只对成功文件取平均，模型可以通过未完成困难场景得到看似更高的质量分。把这些失败保留在分母中，才能同时反映输出可靠性与重建质量。
3.3 Dual VQA：控制裁判自身的能力上限
同一个 VLM 裁判分别观看原视频与渲染视频，回答相同问题，并对照 VSI-Bench 答案判断正确性。设原视频上答对的问题集合为 ，重建视频上答对的集合为 ，百分制 Dual VQA 定义为：
这个条件化处理解决了一个归因问题：如果裁判从原视频中就答不出某个问题，重建视频上答错也不能直接归因于重建丢失信息。DV 因此只检查裁判原本能够恢复的问题，在重建后还剩多少。
论文使用 GPT-5.4-mini，每段视频均匀采样 16 帧。裁判在源视频的 5,130 个问题上答对 1,827 个，约占 35.6%；这 1,827 个问题构成所有配置共享的 DV 分母。最优配置重建后仍答对其中 981 个，因此保留率约为 53.7%。它不是全部 5,130 个问题上的准确率，也不代表视频全部事实的保留比例。
问题分为物体计数、绝对距离、物体大小、房间大小、相对距离、相对方向、路径规划和出现顺序。总体 DV 按符合条件的问题汇总，各类问题的分母不同，所以总体分数与八类任务分数的简单平均并不等价。
3.4 Latent Similarity：比较布局与视频表征
离散问答无法覆盖视频的全部外观与变化。LS 用冻结的 V-JEPA 2.1 ViT-G 编码器提供另一类信号：从原视频与渲染视频各均匀采样 64 帧，编码后比较两者的潜在特征。渲染沿重建场景的相机时间线进行，两个视频都覆盖完整时段，但不假设逐帧已经精确配准。
实现中，Layout 将特征沿时间维平均，保留空间网格，再对对应网格位置的余弦相似度取平均；Motion 则使用所有 token 的平均形成全局视频表示，并计算两段视频表示的余弦相似度。两者平均后得到 LS，榜单统一展示为百分制。
这里的 Motion 是作者对表征指标的命名，它并不直接测量相机位姿误差、光流误差或三维运动轨迹误差。较高的 LS 说明编码器认为两段视频相似，仍然需要 DV 来检查具体的数量、关系与顺序。
3.5 Overall：对两条轴的不均衡进行惩罚
论文使用平方根均值合成综合分数：
它介于几何均值与算术均值之间。在算术均值相同的情况下，两条轴越不均衡，这个综合分数越低；与几何均值相比，它也不会因为一条轴为零就必然归零。这里讨论的是聚合公式，无法生成有效渲染文件时仍按失败规则将各项记零。
Overall 提供了一个偏好平衡表现的排序方式，但两条分项仍应保留。综合分数提高，既可能来自事实保留，也可能主要来自感知相似度，这两种改进对研究方向的意义不同。
4. Experiments：哪些信息保留下来了？
4.1 整体结果与排名的不确定性
论文 v3 评估了 10 个模型家族的 51 种配置。以下摘录部分结果；DV、LS 保留一位小数，Overall 保留两位，平均费用来自构建阶段的统计。
| 配置 | DV | LS | Overall | 平均费用 / 场景 |
|---|---|---|---|---|
| GPT-6-Astra high | 53.7 | 88.6 | 70.07 | USD 1.258 |
| GPT-5.6-Sol xhigh | 51.7 | 85.4 | 67.49 | USD 0.778 |
| GLM-5.3-Flash xhigh | 50.8 | 78.7 | 63.96 | USD 0.024 |
Astra high 的 Overall 与 LS 最高，但论文没有声称它在 DV 上显著优于 Sol xhigh。作者对 288 个场景做 10,000 次配对 bootstrap：两者 DV 差值为 1.97 分，95% 区间为 [-0.91, 4.79]，跨过零；Overall 差值为 2.58，区间为 [0.72, 4.45]。这提醒我们，总榜第一与每个能力维度都稳定领先是不同的判断。
费用也不能简单等同于质量。GLM-5.3-Flash xhigh 以较低的平均费用达到约 91% 的最高 Overall。但这个比例只描述该基准下的分数，不能进一步解释为拥有最强配置 91% 的通用能力；在具体使用场景中，仍需看更关心 DV、LS 还是输出可靠性。
4.2 定性结果：整体风格接近，细节仍可能不同
图 2. 同一场景在不同模型下的重建结果。首行为 Reference，各列对应相同的相对视频时间；模型在家具、布局与相机轨迹上的差异都能影响结果。对应原论文 Figure 5。图源：BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender。
图中可以同时观察两种现象：一些重建保留了房间的配色、家具类型与大致结构，但相同时刻看到的物体、遮挡和视角仍有差异。它们为两条评估轴提供了直观背景，不能单凭这张示例图推断某个模型全部场景的表现。
最强配置在源视频可恢复的 1,827 个问题中保留了 981 个，仍丢失 846 个。进一步的跨模型比较也显示，重建视频在感知表征上相似，不保证保留的是同一批事实。模型之间可能共享容易重建的结构，却在实例数量与关系上犯不同错误。
4.3 任务拆分：计数与出现顺序尤其困难
| 问题类型 | 51 种配置的平均 DV |
|---|---|
| 物体大小 | 63.0% |
| 路径规划 | 58.5% |
| 相对方向 | 51.0% |
| 物体计数 | 29.3% |
| 出现顺序 | 16.1% |
物体大小更接近单个对象的属性，计数则需要覆盖整个场景中的实例；出现顺序还要将这些实例与相机时间线联系起来。这个难度分布支持论文对全场景与时间组织能力的关注，但并未通过控制实验排除题目本身难度、类别样本量或裁判偏差的影响。
从方法设计角度，计数错误可能需要补充观察并维护实例清单，出现顺序错误则可能需要修正对象与时间的对应关系。仅仅把家具画得更精细，未必能改变这两类答案。这个判断为下一步实验提供方向，尚不是论文已经验证的改进方法。
4.4 推理强度与人工偏好提供了什么补充证据？
在 GPT-5.6 Sol、GPT-5.5、GPT-5.6 Terra 的测试序列中，LS 随推理强度提高的趋势更稳定，DV 则可能持平或下降；中间档位的 Overall 也并非单调增加。作者提出的解释是，更多推理有助于改善几何、材质与相机运动，却未必促使模型主动核对事实细节。这个解释需要结合观察与编辑过程分析进一步检验。
人工盲评包含 15 名评审和 5 种配置。在场景与模型组合层面，LS 与人类偏好的 Spearman 相关系数为 0.83，DV 为 0.11；在模型平均排序层面，Overall 与这五种配置的人类顺序一致。人工偏好更接近视觉相似度，并不使 DV 失去意义：人觉得相似与具体问题能否答对，本来就在检查不同性质。
同时，五种配置上的顺序一致不能保证扩展到更多模型后仍成立。人工实验为自动指标提供了有限范围内的支持，尚未把两个指标变成完整的场景理解度量。
5. Conclusion
BVB 建立了从视频观察、工具调用、场景程序到统一渲染与评分的流程。它最有价值的结果，是让研究者同时看到 Agent 能否交付有效场景、场景在视觉上有多接近源视频，以及具体时空事实保留了多少。现有模型已经能构建相当相似的场景，但语义保留，尤其是计数和出现顺序，仍有明显缺口。
结合这些结果，后续方法的一个切入点，是让新增计算用于补充观察和核对事实：在构建前维护物体、相对位置与出现时间的清单，围绕尚未确认的信息选择下一帧，并在初始重建后独立检查数量、关系和相机路径。这些是由实验现象引出的研究设想，是否有效仍需在相同费用上限下比较 DV、LS 与成本；事实检查也应使用独立于基准答案的依据。
评测本身仍有边界：场景限于室内第一视角，评分基于渲染视频，DV 又依赖固定裁判能够答对的源问题子集。论文提出向更广泛环境、室外场景和交互式编辑扩展；与此同时，若能分别检查结构化场景描述与 Blender 实现，并在有三维真值的子集上验证几何，就能更清楚地区分观察遗漏、关系判断和程序实现的错误。增加裁判配置与人工事实核对，也有助于确认分数对题目子集的敏感性，使这套评测更准确地定位 Agent 在何处丢失了视频信息。
References
- BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender, arXiv:2609.15478v3, September 26, 2026.