★ FEATURED ARTICLE 你可能没想过这样一件事给一个AI模型更多信息它反而可能学得更差。这听起来像是违反常识的。我们通常认为细节越丰富模型能捕捉到的东西就越多生成的图片应该越精细才对。但2024年前后一批做图像生成的研究者发现了一个让人挠头的现象他们把一个视觉编码器重新训练得更擅长看清细节之后用来训练图像生成模型时效果反而变差了甚至连最简单的单张图片拟合测试都做不好。这篇论文要讲的就是这件反直觉的事背后到底发生了什么以及一个意外简单的修复方法。先搞清楚问题出在哪现在做文本生成图像主流做法都不是直接在像素空间里操作而是先把图片压缩到一个更小的隐空间里在隐空间里做扩散或者流匹配的生成过程最后再解码回像素。这个思路最早来自VAE变分自编码器一种把图片压缩成低维向量、又能从向量还原回图片的神经网络Stable Diffusion这类模型就是这么干的。但VAE压缩出来的隐空间有个问题它只关心怎么把图片压缩再还原不太在乎这个压缩出来的向量有没有语义信息。于是最近几年有一条新路子叫做表征自编码器RAERepresentation Autoencoder用预训练的视觉理解模型比如DINOv2、SigLIP这类专门学看懂图片内容的模型产生的特征来做生成任务的隐空间。这些编码器本来是为了做图像理解任务训练的比如分类、检测它们学到的特征天然带有丰富的语义结构用它们做生成的隐空间模型收敛得更快生成质量也更好。问题来了这些编码器压根不是为了能被完美还原成原图而设计的。它们关心的是这张图里有没有猫不太关心猫毛的纹理具体长什么样。论文里给出的实测数据显示用原始的DINOv2-L编码器重建图片PSNR峰值信噪比衡量图像重建质量的常用指标数值越高说明还原得越精确只有17.34而这个数字在图像重建领域算是相当粗糙的水平文字、细纹理、小物体这些高频信息基本都丢了。于是很自然的想法就出现了既然编码器不擅长重建那就用重建任务去微调它让它一边保留语义信息一边也学会保留细节。这个思路确实奏效了微调后的DINOv2-L重建PSNR从17.34飙升到29.12几乎是脱胎换骨。但麻烦也跟着来了。论文的核心发现是用这种重建增强版的高维特征去训练扩散生成模型时标准的训练方式突然变得极其低效哪怕是最简单的单张图片过拟合测试模型都要挣扎很久才能学会。这就像你原本雇了一个只会说重点的翻译虽然细节全丢了但说话简洁高效后来你嫌他漏细节把他训练成了逐字逐句翻译的高手,结果发现他说话变得又慢又啰嗦反而没法用了。如果不做这个权衡继续用那个漏细节但高效的翻译你会失去准确性但换成精确但啰嗦的翻译你又失去了效率。这正是论文要解决的核心矛盾。有效维度一个被重建目标悄悄压扁的空间要理解这个现象得先弄明白一个概念叫做有效维度effective dimensionality指要解释数据中一定比例的方差变化最少需要多少个主成分方向。哪怕原始特征标了768维、1024维真正有信息量的方向可能远远少于这个数字。研究者们做了一件很直接的事对不同编码器提取出来的图像特征做奇异值分解SVD一种矩阵分解方法能把数据的变化方向按重要性排序看看要用多少个主成分才能解释90%、95%、99%的方差。结果非常清楚。原始的DINOv2-L特征维度是1024但要解释90%的方差需要672个主成分这个比例相当高说明这个特征空间几乎是满的每个维度都在发挥作用。而经过重建微调之后的DINOv2-L同样是1024维要解释90%的方差只需要129个主成分。这个数字掉得非常猛。从672掉到129意味着微调后的特征虽然名义上还是1024维但实际上绝大部分信息都挤在一个小得多的子空间里剩下的维度几乎是空的或者说充满了噪声般的冗余。MAEMasked Autoencoder一种通过遮盖图片一部分再让模型还原的自监督预训练方法本身的训练目标就是重建这个模型的表现印证了同样的规律。它天生就是以重建为训练目标的哪怕拿去在30亿张Instagram图片上做了大规模预训练它的有效维度依然低得可怜768维的特征只要103个主成分就能解释90%的方差。相比之下同样768维的DINOv2-B有效维度是507SigLIP2-B是460明显高出一大截。这说明什么**一个编码器越是被训练成善于重建它的特征表示就越倾向于压缩进一个低维流形manifold指高维空间中数据实际分布的一个低维弯曲表面可以理解为数据的真实骨架里哪怕表面上的维度数字看起来很大。**这个现象不难理解如果你要求一个模型必须把图片的每一个像素细节都还原出来它就必须捕捉大量高频信息而自然图像的高频细节本身就带有很强的结构规律比如边缘、纹理、重复图案这些规律性使得真正需要独立编码的信息量远小于表面维度。这就好比你让一个人去记住一整本书的内容如果这本书是精心设计过的、逻辑严密的教科书那核心论点可能就那么几十个其余的文字都是围绕这几十个论点展开的解释和例证。如果强迫他把每个字都背下来他确实做到了但他脑子里真正活跃、真正承载独特信息的部分其实远比表面上看起来的文字量要少。速度预测的隐藏代价有效维度低到底会带来什么麻烦这就要回到扩散模型/流匹配flow matching一种和扩散模型类似的生成建模方法通过学习一个从噪声到数据的确定性路径用神经网络预测这条路径上每一点的速度方向训练的具体机制上了。流匹配的标准做法是这样的给定一张干净图片的特征x0混入一些高斯噪声ε按照时间t线性插值得到一个中间状态zt(1-t)x0tε。模型的任务是学习预测这个插值过程的速度vε-x0这就是所谓的v-prediction速度预测让模型学习从噪声到数据这条路径上每个点的运动方向。问题就出在这里。论文做了一个数学推导把高维特征x0假设成由一个低维真实信号c0通过一个正交投影矩阵Q映射而来也就是x0Qc0。这时候混入的噪声ε也可以被分解成两部分一部分是落在信号子空间里的分量另一部分是完全垂直于这个子空间的分量论文管后者叫正交噪声分量orthogonal noise component噪声中那些和真实信号流形完全无关、纯属冗余的方向。推导结果显示模型要学习预测的速度目标v可以拆解成两项一项是和真实信号有关的、落在流形内的分量另一项则完全等于1/t乘以这个正交噪声分量。而这第二项根本不需要模型学习它是可以直接从输入zt里通过投影运算精确算出来的是一个确定性的量跟真实信号c0完全无关。但标准的v-prediction训练方式逼着模型必须同时学会预测这个正交分量。当高维空间h远远大于真实信号维度l的时候这个正交分量的体积会变得非常庞大模型的大部分学习容量都被迫花在拟合这个毫无意义的噪声方向上真正该花心思学的东西反而被挤到了次要位置。这就像一个学生要准备一场考试考试大纲里90%的内容是历史上从没考过、也永远不会考的边角知识只有10%是真正的核心考点。如果老师非要求学生把每一页教材都背得滚瓜烂熟那学生花在真正核心考点上的时间和精力就被严重稀释了。如果不管这个问题继续按照传统方式去要求学生全部背下来学生的复习效率会被那90%的无用信息严重拖累,最后考试成绩反而不如那些只专注核心考点的学生。论文里的图8用一个三维可视化把这件事讲得很清楚真实的速度向量v可以拆成落在流形上的分量v∥和垂直于流形的分量v⊥当h远大于l时v⊥这一支会在总能量里占主导地位模型的注意力被硬生生拽向了一个没有信息量的方向。x0预测绕开无意义的噪声既然问题出在v-prediction会强迫模型去拟合一个跟信号无关的正交分量那解决办法其实挺直接不预测速度直接预测干净的数据本身也就是x0-prediction清洁数据预测让模型直接输出去噪后的图像特征而不是去噪的方向和速度。这个思路其实不是这篇论文首创的论文提到他们是受到另一篇叫JiT的工作启发那篇论文的重点是研究像素空间里的x0预测。而这篇论文把这个思路搬到了高维表征空间里并且给出了针对这个场景的专门数学解释。推导过程同样很清晰。x0的最优预测其实是E[x0|zt]也就是给定当前噪声状态对干净数据取条件期望。因为真实信号c0和正交噪声分量ε⊥是相互独立的这个独立性来自于ε⊥完全落在信号子空间之外跟信号完全不搭边所以条件在ε⊥上并不会给预测c0带来任何额外信息。数学上这意味着只要模型知道zt在信号子空间内的投影就足够精确预测出x0了那个恼人的正交分量完全可以被忽略不需要模型费一点力气去处理它。用大白话讲v-prediction要求模型同时回答两个问题一个是信号该往哪个方向走另一个是噪声里那些跟信号毫无关系的部分具体是什么样第二个问题纯粹是浪费时间。而x0-prediction只问第一个问题直接把第二个无意义的负担甩掉了。这就好比你要给一个朋友指路去一个具体的地址。v-prediction相当于要求你先精确描述出他现在站的位置和目标地址之间所有偏离主路径的每一条岔路口细节哪怕这些岔路口跟他要走的路线毫无关系;而x0-prediction只要求你直接说出目的地在哪里剩下的怎么走由导航自己算。如果继续用前一种方式指路你会浪费大量时间在描述无关信息上朋友很可能因为信息过载反而迷路。实验结果数字说话论文在两套强重建能力的表征编码器上做了系统性对比实验一个是前面提到的微调版DINOv2-L另一个是MAE-RAE用MAE作为编码器、经过专门解码器训练的表征自编码器。先看微调版DINOv2-L的结果。用原始未微调的DINOv2-L配合v-prediction作为基准GenEval一个衡量文本图像对齐能力的评测基准比如生成的图里物体数量、颜色是否符合文本描述得分是37.63DPG-Bench另一个更细粒度的文本图像对齐评测是70.21COCO-30k FID衡量生成图像质量和真实图像分布接近程度的指标数值越低越好是18.34。当把编码器换成微调后的高重建版本、但依然用标准v-prediction训练时GenEval掉到了30.96DPG-Bench掉到67.47FID更是恶化到29.97。**这就是论文开头那个反直觉现象的量化证据编码器变强了重建质量从17.34提升到29.12生成效果却全面下滑。**但只要把训练目标换成x0-prediction同样是这个微调后的DINOv2-L编码器GenEval直接跳到39.48DPG-Bench到71.83FID大幅改善到16.80三项指标全面超越了原始未微调版本的v-prediction基准。MAE-RAE这边的结果同样支持这个结论。用v-prediction训练时GenEval是36.17换成x0-prediction后提升到40.89DPG-Bench从67.54提升到73.90FID从22.20降到17.24。论文里还放了一组直观的定性对比图。给模型一个a photo of a pink car一张粉色汽车的照片的提示词用v-prediction训练出来的模型生成的车子结构模糊整体像一团粉色的无定形色块看不出明确的汽车轮廓而用x0-prediction训练的模型生成的车子边缘清晰、结构完整一看就是辆车。类似的差异也出现在两个背包左边红色右边蓝色这样需要精确空间和颜色控制的提示词上。有意思的是论文还专门做了一个对照实验看看是不是干脆把高维特征压缩到低维空间会更省事。他们训练了一个适配器把1024维的特征硬压缩到32维再用标准v-prediction在这个低维空间里训练。结果这个低维版本在GenEval和DPG-Bench上确实表现不错甚至比x0-prediction高维版本还高一点但FID指标明显更差17.64对比16.80。这说明强行压缩维度虽然规避了优化难题但也丢掉了一部分重建细节带来的视觉质量收益,而x0-prediction不需要做这种取舍既保住了高维特征里的丰富信息又解决了优化效率问题。论文最后还测试了把这套方法放到9000万规模数据集上做扩展训练再在BLIP3o-60k数据集上做微调256分辨率下GenEval达到78.62512分辨率下进一步提升到79.69这个成绩已经能和更大规模的Scale-RAE模型2.4B参数量打得有来有回说明这套思路具备真正的实用扩展性不只是实验室里的理论把戏。一个容易被忽略的权衡这篇论文其实还顺带提出了一个值得琢磨的观察语义理解能力和重建保真度在同一个编码器身上似乎存在某种拉扯关系。原始DINOv2-L做ImageNet线性探测一种简单评测编码器语义特征质量的方法冻结编码器只训练一个线性分类头能达到84.5%的准确率但重建微调之后的版本同样的测试只剩63.9%。反过来重建质量PSNR却从17.34提升到29.12。这就是一个此消彼长的局面。一个编码器越擅长把图片原原本本地还原出来它可能就越不擅长把图片理解成语义概念反之亦然。这背后的原因或许在于语义理解需要的是抓大放小抓住核心概念、忽略细节噪声而完美重建需要的恰恰是保留每一个细节包括那些对理解毫无帮助的噪声。这两个目标在优化方向上天然存在冲突。论文把这个留作未来研究方向没有给出解法这点挺诚实的毕竟不是每个问题都该在一篇论文里被解决完。写在后面读完这篇论文最触动我的其实不是x0-prediction这个技术方案本身方案本身说穿了不复杂一个条件期望的推导换一下训练目标就完事了。真正让我觉得有意思的是背后那个反常识的发现更丰富的信息、更高的重建保真度不代表更容易学习。这跟我们平时理解信息量和可学习性之间关系的直觉是拧着的。我们习惯性地认为信息越多越好细节越丰富模型应该表现越好。但这篇论文用扎实的数学推导和实验数据告诉你信息的密度和结构远比信息的总量更重要。一个1024维的空间里如果只有129维真正承载了信号剩下895维全是噪声那这个高维其实是虚胖的它给优化过程带来的负担远大于它带来的收益。另一个让我反复琢磨的地方是这篇论文本质上是在提醒我们训练目标的选择从来不是一个和数据几何结构脱钩的独立决定。同样是流匹配框架v-prediction在低维VAE隐空间里表现良好用在高维表征空间里就掉链子问题不出在流匹配本身而出在这套框架里默认假设的噪声也值得学习这个前提在高维稀疏信号的场景下彻底失效了。这种同一个方法在不同几何结构下表现天差地别的现象其实在很多机器学习问题里都反复出现只是很少有论文愿意花力气把这个数学机制拆解得这么清楚。论文里那张有效维度骤降的图从672掉到129留下的印象很深因为它把一个抽象的优化困难变成了一个可以量化、可以看见的几何事实。这提醒我很多时候我们说这个模型难训练背后其实是有具体的几何原因的只是我们懒得去挖。QAQ1什么是表征自编码器RAEARAE是一种用预训练视觉编码器比如DINOv2、SigLIP产生的特征来做图像生成隐空间的方法。相比传统VAE它天然带有语义信息能让扩散模型收敛更快、生成质量更好但这些编码器原本不是为图像重建设计的容易丢失高频细节。Q2为什么给编码器做重建微调后生成效果反而变差了A因为重建微调会让编码器的有效维度大幅下降特征虽然表面维度不变但真正承载信息的方向变少了。这时候如果继续用标准的v-prediction速度预测训练扩散模型模型会被迫花大量精力去拟合一个跟真实信号无关的正交噪声分量导致优化效率变低生成质量下降。Q3x0-prediction相比v-prediction有什么优势Ax0-prediction直接让模型预测干净的数据本身而不是预测噪声到数据的速度方向。论文证明这种方式能数学上绕开与信号无关的正交噪声分量在高重建能力的高维表征空间里能让模型收敛更快生成的图像在GenEval、DPG-Bench、FID等多个指标上都明显优于v-prediction。
阅读完成 · 觉得有帮助？
