谷歌深夜发布全球最强开源大模型Gemma，性能“吊打”130亿的Llama

今天小编分享的互联网经验：谷歌深夜发布全球最强开源大模型Gemma，性能“吊打”130亿的Llama，欢迎阅读。

就在刚刚，谷歌扔下 " 震撼弹 "。

北京时间 2 月 21 日晚 21 点，美国科技巨头谷歌（Google）宣布推出全球性能最强大、轻量级的开源模型系列 Gemma，分为 2B（20 亿参数）和 7B（70 亿）两种尺寸版本，2B 版本甚至可直接在筆記型電腦上运行。

谷歌表示，Gemma 采用与 Gemini 模型相同的研究和技术，由 Google DeepMind 和谷歌其他团队开发，专为负责任的 AI 开发而打造。谷歌声称，Gemma 模型 18 个语言理解、推理、数学等关键基准测试中，有 11 个测试分数超越了 Meta Llama-2 等更大参数的开源模型。

平均分数方面，Gemma -7B 的基准测试平均分高达 56.4，远超过 Llama-13B（52.2）、Mistral-7B（54.0），成为目前全球最强大的开源模型。

请输入图说

谷歌和 Alphabet 公司 CEO 桑达尔 · 皮查伊（Sundar Pichai）表示，Gemma 展示了强大的性能，从今天开始，该模型将在全球范围内提供，并可在筆記型電腦、工作站或谷歌云上运行。

Google DeepMind CEO Demis Hassabis 表示，轻量开源的 Gemma 是同类尺寸中性能最佳的模型。

如今，谷歌不仅将对手瞄向 OpenAI，而且打算占据一切，新模型将比扎克伯格的 Llama-2" 遥遥领先 "。

性能超越 Llama-2 开源模型，谷歌 Gemma 为何那么强？

自 Gemini 发布至今，谷歌持续在 AI 方面 " 狂飙 "。

2023 年 12 月，谷歌推出全球最强大、最通用的多模态通用大模型：Gemini，中文称 " 双子座 "，共包括三个不同尺寸版本：Ultra（超大杯）、Pro（大杯）和 Nano（中杯），全面内置最新、最强大的自研 AI 超算芯片 Cloud TPU v5p。

谷歌表示，在六项基准测试中，Gemini Pro 性能表现优于 GPT-3.5；而在 30 项性能基准测试中，Gemini Ultra 超越了目前最强模型 GPT-4，甚至在数学、物理、法律等 57 个领網域测试中成为全球第一个超越人类专家水平的 AI 模型。

如此强大的 AI 技术，谷歌必然要持续推进。

所以，谷歌不仅统一了 AI 人才和算力资源，而且全力投资 Gemini。今年 1 月，谷歌宣布全球一项大模型基准测试中 Gemini 超越 GPT-4；2 月，谷歌宣布对标 ChatGPT 的 AI 聊天机器人平台 Google Bard 更名为 Gemini，并推出安卓版本的独立 App，以及发布史上性能和功能最强大的 Gemini Ultra 1.0 模型等。

然而，2 月中旬 Gemini 1.5 发布的同时，OpenAI 全新视频生成模型 Sora 突然亮相，一经面世瞬间成为顶流，话题热度只增不减。所有人都在讨论 Sora 为行业带来的改变，但这让谷歌在 AI 领網域的努力一下子 " 黯然失色 "。

仅过了不到半个月，如今，谷歌卷土重来，正式推出全球最强大的开源模型 Gemma。

相比 ChaGPT 和 Gemini，Gemma 可能更适合较小规模的任务，例如简单的 AI 聊天或摘要。

谷歌表示，Gemma 其灵感来自于此前谷歌发布的 Gemini 大模型，名字在拉丁语中意为 " 宝石 "。

具体来说，谷歌此次主要展示 Gemma 模型架构、性能表现、自研芯片、训练基础设施、軟體工具、碳减排、安全和评估、负责任等多个方面的努力。

其中，模型架构方面，Gemma 基于谷歌 Gemini 模型以及 Transformer 自注意力机制的深度学习技术研发，Gemma 2B 和 7B 分别针对来自网络文档、数学和代码的 2T 和 6T 规模英文标注数据进行训练。与 Gemini 不同，这些模型不是多模式的，也没有针对多语言任务的最先进性能进行训练。

不仅如此，Gemma 还使用了改进后的多头注意力、RoPE 嵌入、GeGLU 激活函数等新的技术，旨在文本领網域实现通用能力，同时具备最先进的理解和推理技能。

性能表现方面，根据技术檔案，Gemma 在 MMLU、MBPP 等 18 个基准测试中，有 11 个测试结果超越了 Llama-13B 或 Mistral-7B 等模型。

自研芯片方面，谷歌 Gemma 使用自研 AI 加速芯片 TPUv5e 进行训练。其中 7B 模型在 16 个 Pods 上训练，2B 模型在 2 个 Pods 上训练，每个 Pod 可占用的 256 个芯片更少，v5e 经过优化，可以成为转换器、文本到影像和卷积神经网络 ( CNN ) 训练、微调和服务的最大价值产品。

而通过 TPUv5e，Gemma 模型可在文本领網域实现强大的通用能力，同时具备最先进的理解和推理技能。

值得一提的是，谷歌今天还宣布与英伟达（NVIDIA）展开合作。这意味着，Gemma 不止使用 TPUv5e 芯片，而且使用 NVIDIA GPU 来优化 Gemma 模型。

軟體工具层面，谷歌发布了全新 AI 軟體工具包，名为 Responsible Generative AI Toolkit，从而帮助开发者和研究人员优先构建安全和负责任的 AI 应用。此外，Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多个框架工具，并支持基于 Google Cloud 的优化，以及在筆記型電腦、台式机、物联网、移动设备和云端等多个跨设备中兼容，从而让 Gemma 实现推理和微调。

除了上述提及的层面，谷歌还在碳减排、安全和评估、负责任等方面有新的进展。其中，预训练 Gemma 模型的碳排放量大大减少，约为 131000 吨二氧化碳；同时 Gemma 使用过滤后的预训练数据集，以减少不安全内容的风险；以及通过监督式微调和基于人类反馈的强化学习（RLHF）进行微调。

谷歌表示，在人类偏好评估中，Gemma 在遵循指令和基本安全協定方面的表现优于 Mistral v0.2 7B Instruct 模型。

另外，Google DeepMind 采取结构化的方法来确保模型的负责任开发和部署，包括评估潜在的社会影响。

谷歌 DeepMind 产品管理总监 Tris Warkentin 表示，由于担心开放模型存在部分风险，该公司 " 对 Gemma 进行了更广泛的红队（专家、开发者等内部对抗性测试的外部团队）"，从而提前挖掘出了更多 AI 系统存在的缺陷和风险。

署名研究人员高达 57 人，其中 31 人来自亚洲

技术论文显示，此次参与谷歌 Gemma 开源模型的研发人员数量高达 57 位。

其中包括核心贡献者（Core Contributors）14 人，参与者（Contributors）达 35 人，产品管理（Product Management）2 人，项目管理（Program Management）1 人，执行赞助人（Executive Sponsors）5 人。此外，谷歌还对内部其他多个团队进行感谢。

据钛媒体 AGI 通过 Kimi Chat 提供的信息、研发者名字进行梳理和猜测，此次参与 Gemma 模型研发的 57 人中，可能有大约一半以上（31 人）的开发者来自亚洲，或与华人或具有华人血统的个人有关。

例如，谷歌 Gemma 团队当中的 Le Hou（侯乐）博士，曾是谷歌 FLAN-T5 技术的作者。