返回模型列表
发布者 Google 系列 Gemma 4 参数量 31B 上下文长度 262,144 tokens 许可证 Apache 2.0
Gemma 4 31B
Google Gemma 4 系列 30.7B 稠密旗舰模型，256K 上下文，Arena AI 文本排行榜开源模型第 3 名
参数量31B
模态Text, Image
精度NVFP4 · INT4
类型LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:nightly-aarch64 vllm serve google/gemma-4-31B-it \
--port 8000 \
--max-model-len 8192 \
--gpu-memory-utilization 0.9模型详情
输入和输出
输入: Text, Image / 输出: Text, Image
用途
- 最高质量本地推理/编码
- 长上下文助手
- 多模态分析
- 高级代理系统
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GB
标签
llmgoogledenseflagshiplong-contextcoding
Gemma 4 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Gemma 4 31B | 31B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4, INT4 |
| Gemma 4 E2B | 5.1B-A2.3B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | INT4 |
| Gemma 4 E4B | 8B-A4.5B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | INT4 |
| Gemma 4 26B-A4B | 26B-A4B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |