返回模型列表
发布者 Google 系列 Gemma 4 参数量 26B-A4B 上下文长度 262,144 tokens 许可证 Apache 2.0 推理引擎 llama.cpp
Gemma 4 26B-A4B
Google Gemma 4 系列 MoE 模型，25.8B 总参数 / 3.8B 激活，256K 上下文，支持文本和图像理解
参数量26B-A4B
模态Text, Image
精度NVFP4 · INT4
类型LLM
推理引擎llama.cpp
快速部署
部署模型
命令根据你的配置自动生成
docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/unsloth/gemma-4-26B-A4B-it-qat-GGUF.tar.gz \
-e MODEL_NAME=unsloth/gemma-4-26B-A4B-it-qat-GGUF \
-v ~/models:/models \
aoni-docker-cn-guangzhou.cr.volces.com/public/llm/main/aoni/nvidia-ai-iot/llama_cpp:latest-jetson-thor \
llama-server -m /models/unsloth/gemma-4-26B-A4B-it-qat-GGUF/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf \
-c 16384 -ngl all \
--host 0.0.0.0 --port 8300模型详情
模型输入和输出
输入: Text, Image / 输出: Text, Image
用途
- 长上下文代理
- 本地编码助手
- 文档/图表理解
- 研究助手
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GB
标签
llmgooglemoelong-contextcodingagentic
Gemma 4 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Gemma 4 26B-A4B | 26B-A4B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4, INT4 |
| Gemma 4 31B | 31B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4, INT4 |