Code Video Model:用代码确定镜头,让视频模型补充外观
代码可以精确指定物体轨迹、相机和事件时间,但程序渲染往往缺少真实感。Code Video Model 用 Three.js 生成代理视频,再仅在前 25% 的采样步骤中施加它的条件,让冻结的视频模型兼顾结构与参考图外观。本文拆解条件调度、22 个案例上的实验,以及程序可控与成片精确一致之间的边界。
Reading notes, research ideas, and things learned along the way.
代码可以精确指定物体轨迹、相机和事件时间,但程序渲染往往缺少真实感。Code Video Model 用 Three.js 生成代理视频,再仅在前 25% 的采样步骤中施加它的条件,让冻结的视频模型兼顾结构与参考图外观。本文拆解条件调度、22 个案例上的实验,以及程序可控与成片精确一致之间的边界。
机器人如何在背景变化、目标移动或临时换目标后继续操作?Grounded Action Model 将语言、点和框统一映射为物体中心的视觉与米制三维表示,再学习动作。本文梳理其冻结感知骨干、双路观察和规划器接口,核对仿真与真机结果,并讨论目标筛选带来的收益和信息缺失。
点和框的定位训练,能否让机器人用更少示范学会动作?GroundingPI 用统一坐标词表、感知数据引擎与强化后训练构建 grounding 骨干,并在固定动作模型的条件下检验迁移。本文梳理其定位能力、机器人泛化与驾驶结果,以及密集定位和 OCR 数据消融的证据边界。
Agent 需要既能保留动作后果、又能提供丰富视觉观测的练习环境。AgentGarten 将代码维护的世界状态与实时神经渲染分开,并让预训练 Agent 通过跨轮 playbook 积累经验。本文分析条件接口、Adversarial Forcing 和学习案例,区分渲染真实性、状态可靠性与长期能力改进。
答对已知游戏,不足以证明 Agent 从交互中学到了规则。Learn2Play Bench 用 20 个隐藏规则游戏比较模型、经验保留与执行框架。本文分析峰值成绩和学习速度的区别、原始记忆与抽象规则的对照,以及跨实例迁移和人类比较的评价条件。
当一组尝试全部失败,标量奖励没有对比,但轨迹仍留下了失败原因。Self-Retrospection Distillation 用事后信息监督行动前的知识与陷阱预测。本文分析训练目标、同奖轨迹、十项评测和通道消融,并区分训练成功率、测试收益与额外推理。
机器人看到更长历史,并不意味着能用好历史。Long-WAM 先学习自回归视频预测,再把历史和部分去噪的未来表征连接到动作生成,并用流式编码与异步执行降低等待。本文分别分析上下文扩展、预测表征、真机任务和系统加速的证据。
出题者与解题者互相认可,会不会把共享错误当成训练进步?False Frontiers 用外部证据审计发现 co-cheating,并通过按来源划分训练数据的 CrossFit 改变出题者反馈。本文区分入库验证和反馈来源,分析自适应训练与固定题库重放中的证据。
视频助手需要先保留事实,再判断什么时候回答。OneStreamer 用分层描述记忆补充近期视觉窗口,并通过状态转移监督学习何时记录、等待与响应。本文拆解在线因果约束、训练数据和八项基准,分析文本记忆的收益、延迟与纠错缺口。
与当前画面最相似的历史,不一定对下一段生成最有帮助。FrameMorrow 预测少量 prospective tokens,以未来相关性给历史帧排序,并通过现有参考帧接口接入生成器。本文分析训练时未来监督、推理时因果约束、匹配预算比较和长时一致性的边界。