gemma-3-12b-it

Gemma 3 12B IT 是 Google DeepMind 于 2025 年 3 月发布的第三代 Gemma 系列指令微调多模态大语言模型。该模型拥有 120 亿参数，内置 417M 参数的 SigLIP 视觉编码器，支持文本与图像输入，上下文窗口达 128K tokens，覆盖 140 多种语言。架构上采用解码器-only Transformer，结合分组查询注意力（GQA）、QK-norm 以及 5:1 局部/全局注意力层交替设计，在保持推理效率的同时显著降低 KV 缓存占用。

在评测表现方面，Gemma 3 12B IT 在数学推理（MATH 83.8）、代码生成（HumanEval 85.4、MBPP 73.0）和通用知识（MMLU 71.9、MMLU-Pro 60.6）等基准上均达到同规模开源模型的领先水平。多模态能力同样突出，MMMU 得分 59.6，在文档理解、图表问答和图文推理等视觉语言任务上表现优异。模型在 12 万亿 token 规模的多语言文本与图像数据上训练，并通过知识蒸馏从更大模型（27B）中获益。

Gemma 3 12B IT 在 Gemma Terms of Use 许可下开源，可通过 Hugging Face 下载并在本地部署，亦可通过 DeepInfra 等 API 提供商调用。全精度推理约需 24 GB 显存，INT4 量化后可压缩至约 9 GB，适合在单张消费级 GPU 上运行，是兼顾性能与部署成本的优秀开源多模态选择。