今天小编分享的科学经验：打破纪录！谷歌全网扒1000亿影像文本对，ViT大佬坐镇：数据Scaling潜力依旧，欢迎阅读。
史上最大规模视觉语言数据集：1000 亿影像 - 文本对！
什么概念？
较此前纪录扩大 10 倍。
这就是由谷歌推出的最新数据集WebLI-100B。
它进一步证明，数据 Scaling Law 还远没有到上限。
在英文世界之外的多元文化、多语言维度，1000 亿规模数据集能更好覆盖长尾场景，由此带来明显性能提升。
这意味着，想要构建更加多元的多模态大模型，千亿级数据规模，将成为一个重要参考。
同时研究还进一步证明，CLIP 等模型的过滤筛选步骤，会对这种多元性提升带来负面影响。
该研究由谷歌 DeepMind 带来，一作为 Xiao Wang、 Ibrahim Alabdulmohsin。
作者之列中还发现了 ViT 核心作者翟晓华。2024 年 12 月，他在推特上官宣，将入职 OpenAI 苏黎世实验室。
数据规模越大对细节理解越好
论文主要工作有三方面。
验证 VLMs 在 1000 亿规模数据集上的效果
证明 1000 亿规模数据集能增强 VLMs 文化多样性、多语言能力以及减少不同子组之间的性能差异。
发现 CLIP 这类模型过滤筛选数据的过程会对无意中降低模型的文化多元性，在 1000 亿规模数据集上亦是如此。
具体来看，研究人员从网络上搜集了 1000 亿影像 - 文本对，初步去除有害内容以及敏感信息。
然后使用 CLIP 模型对数据集进行质量评估，筛选出与影像内容高度对齐的影像 - 文本对。
他们训练了一个分类器模型，对影像 - 文本进行对齐和错位分类，并调整阈值以重新筛选数据集。为了评估多语言能力，还使用网页的语言标签来确定数据集中的语言分布。
为了评估不同数据规模对模型性能的影响，研究人员从 1000 亿数据集中随机抽取了 1% 和 10% 的数据，分别创建了 10 亿和 100 亿规模的数据集。
同时为了提高低资源语言的代表性，研究人员对低资源语言进行了上采样，将它们的占比从 0.5% 提高到 1%。
实验方面，研究人员使用 SigLIP 模型在不同规模的数据集上进行对比视觉语言预训练。
他们训练了不同大小的模型（ViTB/16、ViT-L/16、ViT-H/14），并使用了大规模的批量大小和学习率调度。
从结果来看，1B 数据集训练的模型在注意力图上无法很好捕捉细节。10B 数据集有所改善，100B 数据集能更精准。
同时使用多语言 mt5 分词器对文本进行分词，并训练了多种语言的模型。
在模型评估上，研究人员主要进行以下几个维度分析：
传统基准测试：多个传统基准测试（如 ImageNet、COCO Captions 等）上评估。
文化多样性：使用 Dollar Street、GeoDE 和 Google Landmarks Dataset v2 等数据集评估了模型在文化多样性任务上的性能。
多语言能力：使用 Crossmodal-3600 数据集评估了模型在多语言任务上的性能。
公平性：评估了模型在不同子组（如性别、收入水平、地理区網域）上的性能差异，以评估模型的公平性。
结果显示，从 100 亿到 1000 亿规模数据，在以西方文化为主的传统基准测试上带来的提升比较有限，但在多语言能力和公平性相关任务上显著提高。
数据过滤可以提高模型在传统任务上的性能，但可能会减少某些文化背景的代表性，从而限制数据集的多样性。
此外，通过调整低资源语言的混合比例，可以显著提高模型在低资源语言基准测试上的性能。
主创翟晓华已被 OpenAI 挖走
该研究的一作为 Xiao Wang 和 Ibrahim Alabdulmohsin。
Xiao Wang本科毕业于南京大学，硕士毕业于北京大学。
领英资料显示，他毕业后先后任职于 IBM 中国开发实验室、网易有道。2015 年加入谷歌 DeepMind 至今，职位是高级軟體工程师，主要从事视觉语言研究。
主创中还发现了翟晓华的身影。
他同样本科毕业于南京大学，在北京大学攻读博士学位后，赴苏黎世加入谷歌。
翟晓华和卢卡斯 · 拜尔（Lucas Beyer）、亚历山大 · 科列斯尼科夫（Alexander Kolesnikov）一起在谷歌提出多项重要工作。
2021 年，他们三人作为共同一作的计算机视觉领網域神作 ViT 发布即刷新 ImageNet 最高分。
这项研究证实了 CNN 在 CV 领網域不是必需的，Transformer 从 NLP 跨界，一样可以取得先进效果。开创了 Transformer 在 CV 领網域应用的先河。
目前这篇论文被引用量已超过 5.3 万。
他在谷歌 DeepMind 时领导苏黎世多模态研究小组，重点研究多模态数据（WebLI）、开放权重模型 ( SigLIP、PaliGemma ) 以及文化包容性。
2024 年 12 月，爆料称 OpenAI 挖走 ViT 三大核心作者。随后，该消息被本人证实。
论文地址：
https://arxiv.org/abs/2502.07617
