Gemma 4 E4B

Google Gemma 4 系列，8B 总参数 / 4.5B 有效参数，128K 上下文，支持文本、图像、音频

参数量8B-A4.5B

模态Text, Image, Audio

精度INT4

类型LLM

在 HuggingFace 查看

Jetson 部署命令模型详情

快速部署

部署模型

Jetson 设备

推理引擎

运行命令

命令根据你的配置自动生成

sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-v ~/models:/models \
ghcr.io/nvidia-ai-iot/llama_cpp:latest-jetson-orin \
-m /models/google/gemma-4-E4B-it \
-ngl 999 -c 8192 --port 8080

模型详情

发布者

Google

系列

Gemma 4

参数量

8B-A4.5B

上下文长度

131,072 tokens

许可证

Apache 2.0

输入和输出

输入: Text, Image, Audio / 输出: Text, Image, Audio

用途

本地编码助手
多模态文档/屏幕理解
工具使用代理
ASR/语音翻译

Jetson 兼容性

Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB

Gemma 4 系列

模型	参数量	硬件	精度
Gemma 4 E4B	8B-A4.5B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	INT4
Gemma 4 E2B	5.1B-A2.3B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	INT4
Gemma 4 26B-A4B	26B-A4B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	NVFP4, INT4
Gemma 4 31B	31B	Thor 128GB, Thor 64GB, Orin 64GB	NVFP4, INT4

模型路径

ModelScope

https://modelscope.cn/models/LLM-Research/gemma-4-E4B-it

HF 镜像

https://hf-mirror.com/google/gemma-4-E4B-it

OSS 下载

https://ai-hub.tos-cn-guangzhou.volces.com/models/gemma/Gemma-4-E4B.tar.gz