Gemma 4 Technical Report
arXiv · HuggingFace · ▲60
摘要（原文）
We introduce Gemma 4, a new generation of open-weight, natively multimodal language models in the Gemma model family. Designed to advance compute efficiency and reasoning, the Gemma 4 model suite features dense and Mixture-of-Experts architectures, ranging from 2.3B to 31B parameters. Alongside improved vision and audio encoders for all model sizes, we propose a unified, encoder-free architecture for our 12B model, which ingests raw audio and image patches. Furthermore, we integrate a thinking mode, enabling Gemma models to generate reasoning traces prior to responding. We improve inference speed, memory, and compute efficiency, as well as long-context abilities through critical design choices. Gemma 4 establishes a leap in performance across STEM, multimodal, and long-context benchmarks, and rivals larger, frontier open models in human-rated tasks.
摘要（中译）
我们推出了Gemma 4，这是Gemma模型家族中新一代的开放权重、原生多模态语言模型。为了提高计算效率和推理能力，Gemma 4模型套件采用了密集型和混合专家（Mixture-of-Experts）架构，参数范围从2.3B到31B。除了为所有模型大小改进视觉和音频编码器外，我们还为我们的12B模型提出了一种统一的、无编码器的架构，该架构可以直接处理原始音频和图像块。此外，我们集成了一个思考模式，使Gemma模型能够在响应之前生成推理轨迹。我们通过关键的设计选择提高了推理速度、内存和计算效率，以及长上下文能力。Gemma 4在STEM、多模态和长上下文基准测试中取得了性能上的飞跃，并在人工评分任务中与更大、前沿的开放模型相抗衡。
背景剖析
背景剖析
技术背景：随着大语言模型（LLM）的快速发展，市场对开放权重、多模态理解能力强且计算效率高的模型需求日益增长。这类技术主要应用于需要处理文本、图像、音频等多模态数据的场景，例如智能助手、教育、医疗诊断、内容创作等。用户希望模型不仅能理解复杂信息，还能进行高效推理（如数学计算、编程）和处理长文本（如文档分析）。然而，传统模型往往在多模态融合、长上下文处理和计算效率上存在瓶颈。
之前的问题：早期的多模态模型通常依赖独立的编码器（如视觉、音频编码器），导致内存碎片化和计算开销大。此外，长上下文任务（如文档理解）会引发KV缓存爆炸，降低推理速度。传统推理方法在复杂数学或编程任务中表现不足，而计算效率的限制使得模型难以部署在资源受限的设备上。同时，现有模型的多模态能力与文本能力之间存在差距，难以实现真正的“原生多模态”体验。
本文的解法：Gemma 4 通过多项创新解决了这些问题：
1. 统一编码器架构：12B 模型直接处理原始音频和图像数据，避免了对独立编码器的依赖，减少内存碎片化。
2. 长上下文优化：采用滑动窗口注意力、RoPE 位置编码和 KV 缓存共享等技术，显著降低内存占用。
3. 推理增强：引入“思考模式”，让模型在回答前生成推理过程，提升复杂数学和编程任务的性能。
4. 计算效率：通过多token预测草稿头和量化感知训练，提高推理速度并降低内存需求。
切入角度：与以往工作相比，Gemma 4 的关键差异在于：
- 原生多模态支持：所有模型尺寸均支持文本、图像和音频，而非仅依赖后期融合。
- 高效长上下文处理：通过创新性注意力机制优化，平衡了性能与内存开销。
- 开放性与实用性：提供量化版本和开源许可证，使研究者和开发者能更灵活地部署和定制模型。
这些设计使 Gemma 4 在多模态基准测试和人类评估中达到前沿水平，同时保持了计算效率，适用于更广泛的硬件环境。
