今日热门!GeoFix：当视频生成模型学会"修正几何错觉"的那一刻

你有没有注意过这样一个细节：当你看一段AI生成的视频，镜头缓缓移动，背景里的建筑却在悄悄"变形"，墙角的线条微微扭曲了一下，又恢复了正常？

这种瞬间很容易被忽略，因为视频本身看起来"挺真的"。颜色对、光影对、人物动作也流畅。但如果你把这段视频喂给一个三维重建系统，让它根据多帧画面还原出背后的立体结构，系统就会崩溃。因为背景其实每一帧都在悄悄偏移，根本没有一个稳定一致的三维世界支撑着这些画面。

(资料图片)

这就是当前视频生成模型一个不太被大众关注、却让研究者头疼的问题：画面好看，但几何不对。

这事儿为什么重要？因为现在很多团队想用视频生成模型当"世界模型"的基座，用来生成能交互、能探索的四维动态场景。

**4D生成**：不仅生成一个场景的三维形状，还要生成它随时间变化的动态过程，相当于给三维世界装上了时间轴。

如果视频本身的几何都对不齐，那用它重建出来的四维场景自然也是歪的，墙会飘、物体会抖、树会凭空长出重影。GeoFix这篇论文，就是奔着这个问题去的。

一个被忽略的根本矛盾

过去一年里，已经有不少研究尝试解决这个问题，思路大体分两派。

一派是"间接打分"，用一个学会了审美偏好的模型，或者多模态大语言模型去看生成的画面，判断"这个视角拍出来的画面合不合理"。这种反馈确实有用，但它天生有个缺陷：它分不清楚一个画面"不好"到底是因为几何错了，还是单纯因为这帧画面本身拍得丑、细节模糊。

另一派是"直接测量"，用更硬核的手段，比如对比RGB像素的重建误差、检查对极几何约束是否满足、看跟踪点在不同帧之间的轨迹是否吻合。这类方法更有针对性，但研究者们很快发现了一个尴尬的副作用：如果你拼命让模型去满足这些几何约束，模型会找到一条"捷径"：把画面变模糊、变静止。

为什么？因为一张糊成一团、几乎不动的视频，天然就更容易在不同帧之间对齐，重建误差自然就小了。这就好比考试的时候，有人发现"交白卷"永远不会写错字，但这显然不是我们想要的答案。

正因如此，之前的方法都不得不加一堆"补丁"：额外设计一个奖励来惩罚"几乎静止的视频"，或者再加一个审美奖励来防止画质变差，又或者干脆手动筛选训练数据。这意味着你要同时平衡好几个相互拉扯的目标，调参变成了一门玄学。

GeoFix团队提出的问题很直接：有没有可能只用一个几何奖励，既把结构修对，又不伤害画质，根本不需要这些补丁？

用"深度一致性"而不是"像素一致性"来衡量几何

GeoFix的第一个关键设计是：别去比较颜色和纹理，去比较深度。

具体来说，对于视频里的任意两帧，模型会先从第一帧估计出每个像素对应的深度（也就是这个点离镜头有多远），再根据相机的运动关系，把这些三维点"投影"到第二帧的视角里去，看看在第二帧里，这个点应该出现在什么位置、距离镜头多远。如果视频几何是一致的，这个"预测的深度"应该和第二帧自己估计出来的深度基本吻合。如果不吻合，说明背景在悄悄飘移，几何出了问题。

为什么选深度而不是颜色？因为颜色这个信号太不靠谱了。

**视角相关效应**：同一个物体从不同角度看，颜色会因为反光、高光等因素发生变化，这跟物体本身的几何结构其实没关系。

如果你用颜色重建误差当奖励，模型发现最省力的作弊方式就是把画面模糊化，让所有帧看起来都差不多，这样颜色误差自然就小了。但深度不一样，深度衡量的是"这堵墙到底在哪儿"，这是个硬邦邦的物理量，没法靠模糊蒙混过关。

这就像你去检查一栋房子的结构是否稳固，你不应该去看墙面的油漆颜色是否统一，你应该去量每个房间的墙角是不是真的垂直、地基是不是真的水平。油漆再怎么涂得漂亮，墙歪了就是歪了，量尺一拉就露馅。如果检查员图省事只看漆面好不好看，那装修公司大可以把所有房间刷成同一种灰色蒙混过关，反正看起来挺统一。

同时，为了不冤枉那些真实运动的物体，GeoFix专门引入了一个动态区域掩码，用一个预训练的运动分割网络找出画面里哪些地方是真的在动（比如走路的人、飞的鸟），只在静止的背景区域里计算这个深度一致性误差。这样模型就不会因为"小狗在跑"而被扣分，它惩罚的只是背景漂移这种真正的几何缺陷。

被忽视的偏差：镜头动得少，分数反而更高

接下来是这篇论文里我觉得最有意思的发现。

研究者们在验证这个深度一致性分数的时候，顺手测了一下真实拍摄的视频和专门用于四维重建的数据集，结果发现一个很反直觉的现象：即便是完全真实、没有任何生成痕迹的干净视频，只要摄像机运镜幅度小、前后两帧的视野重叠度高，这个深度一致性分数就会系统性地偏高。

这意味着什么？意味着这个看似公正的几何打分系统，其实偷偷带了一个"懒人补贴"：镜头挪得越少，分数越容易拿得高，哪怕这段视频的真实几何质量跟镜头大幅移动的那段视频根本没有差别。

研究者管这个现象叫**重叠偏差**：几何一致性评分和相机视野重叠度之间存在的虚假正相关关系，导致小幅度运镜被误判为"几何更好"。

你可以想象一下，如果你是老师，用"学生答题时写字工整程度"来打分，结果发现那些故意写得又小又密、几乎看不清内容的卷子，反而因为"字迹排列整齐"得了高分，而字写得大、信息量丰富的卷子因为排版稍微松散就被扣分。这显然不是你想要的评判标准，但如果你没发现这个偏差，你的评分系统就会在无意中鼓励学生把字写小写密，而不是鼓励他们把内容答对答全。

这个发现直接解释了之前那些方法为什么容易"把画面变静止"：优化几何一致性奖励的时候，模型其实在悄悄利用这个重叠偏差，它发现让镜头少动一点，比真的把几何修对要容易得多。

为了量化这个"视野重叠度"到底有多大，论文用了一种面积加权的交并比方法，把两台相机各自能看到的球面区域做个重叠比例计算，重叠越大说明两帧画面视角差异越小。

FOCAL：把"镜头懒惰"这笔账算清楚

找到了偏差的根源，解法其实顺理成章：既然真实视频的分数本身就会随重叠度系统性变化，那就先把这条"基准曲线"画出来，再拿生成视频的分数去跟这条曲线比，而不是跟绝对数值比。

具体做法是，研究者们用大量真实视频和四维重建数据集，拟合出了深度一致性分数和视野重叠度之间的数学关系，这条关系的斜率就代表了"重叠度每增加一分，分数大概会虚高多少"。然后在正式打分时，把这部分"虚高"的量从原始分数里减掉，得到一个经过校准、真正反映几何质量本身的分数，这就是论文的核心贡献，FOCAL。

**FOCAL**：FOV-CALibrated geometric reward，视野校准几何奖励，一种先算出重叠度导致的分数偏差、再把这部分偏差扣除掉的深度一致性奖励，用来消除"镜头少动就能拿高分"这种虚假优势。

这就好比体育比赛里的让分制。如果甲乙两队实力本来就有差距，裁判事先按照历史交手数据算出甲队平均能多赢多少分，正式比赛时就把这个差值提前让给乙队，这样最终比的才是真实实力，而不是出场顺序或者场地优势带来的虚假胜负。如果不做这个校准，裁判可能会一直误判，把场地优势当成实力差距，训练出来的队伍也只会钻场地规则的空子，而不会真正提高球技。

论文里给出的校准公式非常简洁，本质上就是把原始的深度误差，除以重叠度的某个指数次方，这个指数就是从真实数据里拟合出来的那个斜率除以十。校准完之后，研究者在没参与拟合的真实和生成视频上重新验证，发现校准后的分数和重叠度之间的相关性几乎降到了零，说明这套方法确实把偏差给洗干净了，而不只是在训练集上凑巧对上了。

直接从生成过程的"潜空间"里算出深度和相机

光有一个合理的奖励指标还不够，还得想办法高效地算出来。因为在训练过程中，这个奖励需要被反复计算成千上万次，如果每次都要先把视频完整解码成像素、再跑一个完整的三维重建模型，那计算成本会高到难以承受。

GeoFix的做法是借用一种叫**模型拼接**的技巧：模型拼接，把一个预训练模型的某一层输出，直接接到另一个预训练模型的中间层上，跳过前面那部分计算，让两个原本独立的模型"缝"在一起协同工作。

具体来说，视频扩散模型在生成过程中会产生一种压缩过的中间表示，叫做**潜空间表示**：视频扩散模型内部用来表示画面的一种压缩、抽象的数值编码，不是直接的像素，但保留了生成画面所需的全部信息。

研究者训练了一个轻量的"拼接层"，直接把这个潜空间表示接入一个预训练好的四维重建模型的中间层，跳过了视频解码成像素、再从像素重新提取特征这两步。这样做有两个好处：一是省了大量计算，二是意外地更稳健。

因为生成过程中的潜空间带有噪声，如果先解码成像素再重建，噪声会被放大、累积，而直接从潜空间接入，反而绕开了这个噪声累积的过程。论文的实验也证实了这一点：这个拼接后的重建模型，在新视角合成任务上的峰值信噪比比原版重建模型高出1.68分贝，结构相似度提升了0.066，这些都是实打实的重建质量提升。

这套拼接模型不仅给出了用于打分的深度和相机信息，它本身还能直接输出一个显式的四维高斯场景表示，相当于一举两得，既当裁判又当建筑师。

把这个奖励用到训练和推理的各个环节

设计好了奖励，接下来是把它用起来。GeoFix在三种不同的对齐方式上都做了验证，展示了这个奖励的通用性。

第一种是训练阶段的强化学习微调，用的是一种叫DiffusionNFT的方法，让模型生成一批样本，用FOCAL打分，再把这些打分反馈回去调整模型参数。第二种是推理阶段的"候选筛选"，也就是对同一个提示词生成多份视频，用FOCAL挑出打分最高的那份。第三种更有意思，是推理阶段的梯度引导，直接利用FOCAL对潜空间的梯度，在采样过程中实时引导生成方向朝着几何更一致的方向走。

这三种用法背后有一个共同前提：这个奖励必须是可微分的，也就是说能够计算出"如果稍微调整一下生成内容，奖励会怎么变化"这个方向信息。因为FOCAL是直接从潜空间算出来的，整个计算链条是连贯可导的，所以它能同时服务于这三种差异很大的对齐方式，不需要为每种方法单独设计一套奖励。

实验结果：数字不会说谎

论文在多个基准上做了系统性对比。

在训练阶段的实验里，GeoFix跟基础模型、单纯监督微调、以及两个同类方法VIST3A和World-R1做了对比。结果显示，GeoFix在WorldScore基准的三维一致性指标上达到61.60分，远超基础模型的44.39分，相当于提升了39%左右。同时它在光度一致性、运动准确度等维度上也都拿到了最高或接近最高的成绩。

更值得关注的是，GeoFix在VBench视频质量评测上同样全面占优，主体一致性、背景一致性、美学质量、成像质量、运动平滑度五个维度，相比基础模型的相对提升幅度，全都超过了另一个直接几何奖励方法VGGRPO，尤其是美学质量这一项，提升幅度高达12.67%，而VGGRPO只有0.42%。

这组数字其实在印证论文最核心的论点：几何不一致本身就是一种视觉缺陷，修好了几何，画质自然也跟着变好了。

在推理阶段的实验里，无论是候选筛选还是梯度引导，用了FOCAL之后，相机的旋转误差、平移误差都明显下降，场景一致性和画质指标同步提升，运动幅度只有微小下降，几乎可以忽略。这说明FOCAL不仅能当一个事后打分器，也确实能提供有效的优化方向。

在四维场景生成这个更贴近实际应用的任务上，GeoFix和两个专门做图像生成四维场景的方法MoGe4D、4DNeX做了对比。结果显示，对比方法4DNeX虽然"动态程度"这项指标很高，但仔细看渲染结果会发现，这种"高动态"其实是背景结构在不断漂移、重影造成的假象，并非真实的物体运动。而MoGe4D则走向另一个极端，几乎不产生任何运动。GeoFix在保持场景一致性的同时，还能维持有意义的动态变化，相当于找到了那个两难之间的平衡点。

论文还做了一个很扎实的"腐蚀测试"：故意对重建结果施加四种人为的几何扭曲，包括正弦波纹变形、垂直挤压、深度反转、相机姿态漂移，结果显示FOCAL的分数随着扭曲程度增加而单调下降，证明这个奖励确实在测量几何一致性本身，而不是别的什么混杂因素。

另外研究者还专门做了一个对照实验，直接用VBench的几个视频质量指标当奖励去微调模型，结果出现了明显的"钻空子"现象：优化"成像质量"导致画面出现强烈的色彩条纹和重复高对比纹理；优化"背景一致性"导致画面模糊并叠加规律性网格；优化"运动平滑度"甚至导致输出几乎全黑；优化"主体一致性"把识别对象替换成了重复的蓝色图案；优化"美学质量"生成了拼贴画一样、重复人脸和装饰碎片的图像。这些现象背后的逻辑其实一致：这些指标衡量的是帧间特征相似度或者审美预测分数，而不是真正的场景结构，模型一旦发现"让内容变得单调、重复"比"真的把内容画好"更容易拿高分，就会毫不犹豫地走捷径。

这组对比实验其实比任何说理都更有说服力，它直接展示了"奖励设计不当"会导致什么样的灾难性后果，也反过来证明了FOCAL这种直接针对几何结构、而非间接依赖感知指标的设计思路是对的。

这篇工作也不是没有局限。它依赖的深度和相机估计来自一个预训练的四维重建模型，如果这个"老师模型"本身在某些场景下判断失误，奖励信号也会跟着跑偏。另外，动态区域的分割如果出错，可能会误伤真实运动或者放过真正的几何错误。计算成本也不低，每次打分都要跑一遍拼接重建模型加运动分割网络，梯度引导时还得对整个重建过程反向传播，这些都对算力提出了不小的要求。

写在后面

读完这篇论文，最触动我的其实不是FOCAL这个方法本身，而是那个重叠偏差的发现。

很多时候，我们以为自己设计了一个"客观"的评价指标，但这个指标背后可能藏着一个跟你真正想衡量的东西毫无关系的变量，在悄悄左右着最终的数字。这篇论文提醒我的是，任何一个看起来天经地义的评分标准，都值得回头问一句：这个分数高，到底是因为它真的好，还是因为它恰好满足了某个跟"好"无关的条件？

另一个让我意外的点是那组VBench奖励对照实验。原以为用权威基准的评测指标直接当训练目标，怎么都比瞎设计一个新奖励靠谱，结果几乎每个指标单独拿去优化都会"原形毕露"，暴露出各种意想不到的捷径。这其实是一个挺普遍的警示：评测指标和优化目标，从来都不是一回事，拿前者直接当后者用，风险比想象的要大得多。

那么下一个问题是，如果未来的四维重建模型本身变得更强、更准，这套校准方法是不是就不再需要了？还是说，只要存在"相机运动幅度"这种隐变量，类似的偏差就永远会以某种形式重新出现，只是换了个马甲？

Q&A

Q1：GeoFix是什么？

A：GeoFix是一个让视频生成模型几何结构更一致的框架，核心是一个叫FOCAL的几何奖励，用来同时提升生成视频的三维结构准确性和画面质量，不需要额外加别的辅助奖励。

Q2：为什么之前的几何一致性方法容易让画面变模糊或变静止？

A：因为很多方法用像素重建误差或帧间特征相似度当奖励，模型发现把画面模糊化或者减少动态变化，能更容易满足这些约束，这是一种投机取巧的"捷径"，并不代表几何真的变好了。

Q3：FOCAL里的重叠偏差校准具体解决了什么问题？

A：研究者发现即便是真实视频，相机移动幅度越小，深度一致性分数也会系统性偏高，FOCAL通过拟合这条偏差曲线并从原始分数里扣除，让奖励真正反映几何质量，而不是奖励镜头少动。

标签： 拟合 视频生成 模型权重