MiniMax 海螺视频团队不藏了！倍顺网
首次开源就揭晓了一个困扰行业已久的问题的答案——
为什么往第一阶段的视觉分词器里砸再多算力，也无法提升第二阶段的生成效果？
翻译成大白话就是，虽然图像 / 视频生成模型的参数越做越大、算力越堆越猛，但用户实际体验下来总有一种微妙的感受——这些庞大的投入与产出似乎不成正比，模型离完全真正可用总是差一段距离。
So why？问题，大概率就出在视觉分词器（Tokenizer）这个东西身上了。
当算力不再是答案时，真正需要被重新审视的，其实是生成模型的"起点"。
在当前主流的两阶段生成框架中（分词器 + 生成模型），业界已经在视觉分词器的预训练上投入了大量算力与数据，但一个尴尬的事实是：
这些成本，几乎没有线性地转化为生成质量的提升。
而 MiniMax 海螺视频团队，不止挑战了这一现实——用实验证明" Tokenizer 的 scaling 能够提升模型性能"。
更关键的是，还带来了一款开箱即用、专为"下一代生成模型"打造的可扩展视觉分词器预训练框架—— Visual Tokenizer Pre-training（以下简称 VTP）。
只需换上这个视觉分词器，即可在不改变下游主模型（如 DiT）任何训练配置的情况下，实现端到端生成性能的倍数级提升。
下面详细来看——
传统 Tokenizer 的缺陷：更好的重建≠更好的生成
要理解 VTP 存在的意义，首先我们需要回到更基础的问题上——
Tokenizer 是什么？它又为何如此关键？
以 AI 生图为例，当前主流的生图模型几乎清一色采用了"两阶段"生成框架：
第一阶段（压缩）：使用视觉 Tokenizer（如 VAE）这个组件，将原始图像压缩并映射到一个潜在空间（latent space）中；
第二阶段（还原生成）：再由以扩散模型为核心的生成器（如 DiT），在这个潜在空间中学习分布，并逐步还原、生成最终图像。
用一张图来形容这个过程 be like（先压缩后还原）：
而 Tokenizer，就是在第一阶段中负责压缩图片信息的组件。
如果没有这个组件，扩散模型就得直接在数百万像素组成的原始像素空间中进行"去噪"和生成——其计算复杂度和内存开销将是天文数字。
因此，Tokenizer 称得上是让模型能够在消费级显卡上运行起来的"关键功臣"。
除此之外，Tokenize 过程所得的低维潜在表征，其质量直接决定了最终生成图像的语义保真度、细节丰富度以及整体真实性，所以业界也普遍认为——
从某种程度上来说，Tokenize 几乎决定了后续生成模型的上限。
基于此，人们在研究如何提升下游生成模型的质量时，也不约而同地将重点放在了"如何精准复刻原始像素"上，即要求模型将压缩后的潜在特征（latent）尽可能精准地还原为原始图像。
而问题，也正出在这里。
传统 Tokenizer 在追求"像素级重建"时，往往会过度沉迷于捕捉图像的局部纹理、噪点等低层信息，从而忽视了生成任务真正依赖的高层语义与整体结构。
这就像学渣为了应付考试，只想着死记硬背各种试题，却完全不理解题目背后的知识点与逻辑结构。结果真正到了需要举一反三、解决新问题的时候，一下就傻眼了。
在论文中，海螺视频团队将这一现象定义为"预训练缩放问题"（Pre-training Scaling Problem）：
更好的像素级重建精度并不能带来更高质量的生成效果倍顺网。
如图所示，传统仅基于"重建"目标训练的 Tokenizer（灰线），随着算力投入增加，模型的生成性能不仅没有提升，反而逐渐趋于饱和甚至略微下降。（ps：gFID 衡量生成质量，越小越好）
由此，论文得出第一个关键发现：重建做得越好，生成反而可能越差。换言之，传统 VAE 所依赖的纯重建训练范式，在面向生成任务时存在根本性局限。
那么，VTP 是如何破局的呢？
VTP 破局之道：从像素级重建到强调"理解力"的重要性
事实上，VTP 并非横空出世，而是海螺视频团队在长期实践中反复试错与认知迭代的产物。
一些早期探索：从易学性到通用表征学习
在早期工作 VA-VAE 中，团队注意到：
有些"压缩后的特征"能让后续的扩散模型学得又快又好，而另一些则不能。
基于此，他们提出了"易学性"这一概念——即不同的潜在表征（latents）对于下游生成模型的学习难度截然不同，并期望通过优化 latent 的某些"友好特性"（如均匀性、频域分布等）来间接改善生成效果。
然而实践发现，这些方法虽有一定效果，却未触及本质。按团队自己的话来说就是：
尝试将易学性等价为可精确计算的单一指标（例如频域分布、均匀性、scale 不变性、低秩效应等等）有些过于理想了，这些指标可能和易学性有一定关联，但远不是全部。
就是说，当优化目标被限制在少数可测量指标上时，模型往往只是学会了在特定指标上"刷分"，而没有从根本上学会理解图像的结构与语义（本质上仍未脱离"重建"范畴）。
在 VA-VAE 中，团队曾尝试将易学性对应到 latent 分布的"均匀性"
而经过持续反思，团队逐渐意识到 VA-VAE 和后来的很多尝试，其深层目标并非仅仅是优化几个指标，而是在试图让 latents 具备某些更高级的"结构"。其背后逻辑在于：
假如某种 latents 对于图像中的实体、位置关系具有高度结构化的表达，那么这种结构化表达对于下游 diffusion 建模来说也会更简洁、更容易，这些方面的生成效果也自然会更好。
这就好比另一种层面上的"大道至简"——当模型真正掌握了物体、关系与语义这些视觉世界的本质规律时，它能应对的任务自然也就越多了（以不变应万变）。
因此，与其为"易学性"设计脆弱的代理指标，不如直接让 Tokenizer 去学习人类视觉系统本身所依赖的那种高度结构化、语义化的通用表征。
毕竟像 CLIP、DINOv2 这样的现代通用表征学习方法，正是在大规模数据上自动化地学习了这种"人类对齐"的视觉表达，才在多种下游任务中表现出强大的泛化能力。
至此，团队的研究重心正式从"像素级重建"转向了强调理解力的"通用表征学习"。
VTP：回归"压缩即智能"本质
基于这一认知转变，VTP 的设计原则变得异常清晰。团队表示：
我们应该融合所有已知有效的表征学习方法来构建一个 Tokenizer。
具体而言，VTP 这次率先实现了从只练"重建"到"理解、重建、生成"的联合优化。
一是通过图文对比学习，建立高层语义理解。
在训练时，团队会给模型看大量图像 - 文本配对数据（如"一只猫在沙发上"与对应图片），然后要求图片的特征向量和文字的特征向量尽可能接近。
这和之前的 CLIP 思路一脉相承，但目标更聚焦。CLIP 追求的是广义的图文匹配能力，而 VTP 则要求 Tokenizer 在压缩图像为紧凑的潜在编码时，必须保留与文本对齐的语义结构。
这意味着，生成模型后续接收到的每一个潜在表示，本身就已经是"有语义的"——它不只是一堆像素的压缩，而是携带了"猫"、"沙发"等概念及其关系的结构化表达。和以往相比，"语义注入"被提前到了压缩阶段。
二是通过自监督学习倍顺网，掌握空间结构与视觉常识。
在 VTP 框架中，自监督学习模块通过结合掩码图像建模（MIM） 和自蒸馏（DINO 风格），"迫使"模型去理解图片的空间关系和物体结构。
这个过程会"逼着" Tokenizer 来回答不同问题：
通过自蒸馏回答：抛开具体的像素细节，这张图片最核心的视觉主题或概念是什么？（全局语义）
通过 MIM 回答：根据你看到的"冰山一角"，你能推断出整个"冰山"的形状和结构吗？（结构推理）
二者协同回答：为了识别图片主题或从局部重建整体，哪些视觉线索是决定性、不可缺失的？（聚焦核心）
这一套流程走下来，模型对图像的理解便不再停留在像素层面，而是构建起了结构化的视觉认知。
三是通过重建，保留必要的底层视觉细节。
VTP 依然保留了重建目标，但它的定位发生了变化——其作用不再是"越准越好"，而是确保潜在空间中仍然保有生成所需的纹理、颜色与边缘等细节信息。
这三重目标并非孤立进行，而是通过一个统一的多任务损失函数进行联合优化：
最终，VTP 得到的不是一个在某个指标上"特别优秀"的压缩器，而是一个自带理解能力、对生成模型非常友好的视觉 Tokenizer。
这里也补充一个细节：为什么他们不像很多工作一样直接使用现有的 CLIP 或 DINOv2 作为 Tokenizer，而非要投入巨大算力从头预训练一个？
其核心思考在于两点（团队原话如下）：
表征真的很重要，我们想要做到很极致。在我们的视角下表征包含了自监督、对比学习、甚至是重建（这些只是已知比较成熟的方法，实际上理想的表征远不止这些），市面上没有一个能够很好地融汇这些方法的模型，我们需要自己训练一个。
基于表征的 Tokenizer 方案具备 scaling 的潜力，预训练是最合理的实现方式。如果直接利用已有模型蒸馏或者迁移，会因为 setting 过于复杂而破坏 scaling 的性质，也会受限于已有的模型规格而无法做充分的论证。
所以，选择"从头开始"的 VTP，其实际表现究竟如何呢？
首次展示了 Tokenizer 的 Scaling Law
概括而言，团队通过 VTP 得出了两大关键发现：
理解力是驱动生成的关键因素
视觉 Tokenizer 也具备明确的 Scaling Law
先说第一点。
VTP 用实验证明，如果只做重建的话，投入资源越多生成反而可能越差。
下图中，代表重建能力的 rFID 从 2.0 降至 0.5，重建效果变好；但代表生成能力的 gFID 从 55.04 升至 58.56，生成效果变差。
而一旦注入"理解力"（即引入 CLIP 图文对比 /SSL 自监督任务），模型的生成质量（gFID）会随着理解能力（Linear Probe）的提升而同步变好——
二者呈现明显的正相关，且这种提升会随着训练计算量增加持续推进。相比之下，缺少"理解力"的传统 AE Only 方案，其生成质量和理解能力很快陷入停滞。
更进一步，团队在同等算力下对比了不同组合，证明" CLIP+SSL+AE "的联合训练方式上限最高，生成与理解指标均最优。
基于此，团队训练的 VTP 在理解、重建、生成方面均交出了不错的答卷——
在 ImageNet 上的零样本分类准确率达到78.2%，超过了原版 CLIP 的 75.5%，已经具备强通用视觉理解能力；在重建能力上超过了 Stable Diffusion 的 VAE， rFID 低至0.36；在生成能力上超过了此前的改进方法 VA-VAE，gFID 低至2.81。
更关键的是，在达到相同生成质量的前提下，VTP 的训练收敛速度比 LDM 快 5.7 倍、比 VA-VAE 快 4.1 倍，大幅降低了训练成本。
这一系列表现共同印证了团队的判断：Tokenizer 的"语义理解力"而非单纯的像素重建精度，才是驱动生成性能与效率提升的核心动力。
再说第二点，也是更具突破性的一点。
团队在实验中发现，VTP 首次展示了 Tokenizer 的 Scaling Law，即生成性能可以随预训练中投入的计算量、参数量和数据规模有效增长。
仅从算力维度对比，在不改动下游 DiT 标准训练配置的前提下，单纯将 Tokenizer 的预训练计算量放大，VTP 就能为最终生成效果带来65.8% 的性能提升，且提升曲线仍未触顶。
反观传统自编码器（AE），其性能在仅投入约 1/10计算量时便已饱和，且继续增加算力不仅收益微乎其微，甚至可能导致生成质量倒退。
以上发现表明，接下来除了在主模型上投入更多参数 / 算力 / 数据之外，还可以通过 Tokenizer 的 scaling 来提升整个生成系统的性能。
这个结论，乍一看可能会让人有点转不过弯：什么时候，Tokenizer 也开始谈 scaling 了？
在大模型语境里，" Scaling Law "几乎天然只属于主模型——参数更大、数据更多、算力更猛，性能就该继续往上走。至于 Tokenizer，则长期被视作一个"前置模块"，主打一个够用就行，做完重建任务就退场。
但 VTP 的出现却改变了这一现实，团队表示：
VTP 在 latents 易学性和通用表征学习之间建立起了明确关联，从而第一次将 Tokenizer 作为 scaling 的主角，展现出全面的 scaling 曲线和扩展方向。
就是说，如果 Tokenizer 只是被用来精准复刻像素，那么无论怎么堆算力，提升都将很快见顶；而一旦 Tokenizer 学到的是具备语义结构、对下游更友好的通用表征，事情就完全不一样了。
比如对整个行业来说，由于 VTP在 Tokenizer 层面就已经统一了语义对齐、结构认知和细节表达，因此其产出的视觉表征天然具备多任务协同的潜力。
这有点像先把世界翻译成了一种统一、结构化的"视觉语言"。
一旦这套语言确定下来，下游无论是理解任务（如分类、检测），还是生成任务（如图像合成、编辑），都不再需要各自"重新学怎么描述这个世界"，而只是站在同一套底层表达之上，做不同的事情。
从这个角度看，VTP 天然适合用来构建"理解 - 生成统一模型"。正如团队所言：
Tokenizer 层面的统一，是更本质的统一。
也因此，此次 VTP 的开源就不单单只是提供了一个组件那么简单了。
其更大的价值或许在于，它为整个行业提供了一条新的、且被实验证明行之有效的路径——
在主模型之外，Tokenizer 同样是一个值得长期投入、且具备明确 scaling 回报的核心环节。
目前，VTP 的论文和模型权重已经公开，动手能力强的朋友也可以尝试体验下：
换一个视觉 Tokenizer，模型性能就能变得不一样的 feeling（手动狗头）。
【传送门】
代码：https://github.com/MiniMax-AI/VTP
论文：https://arxiv.org/abs/2512.13687v1
模型：https://huggingface.co/collections/MiniMaxAI/vtp
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见倍顺网
一鼎盈配资提示：文章来自网络，不代表本站观点。
