返回模型列表
发布者 Google 系列 Gemma 3 参数量 270M 上下文长度 8,192 tokens 许可证 Apache 2.0 推理引擎 vllm
Gemma 3 270M
Google Gemma 3 系列 270M 超轻量语言模型
参数量270M
模态Text
精度BF16
类型LLM
推理引擎vllm
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/gemma/gemma-3-270m.tar.gz \
-e MODEL_NAME=gemma/gemma-3-270m \
-v ~/models:/models \
aoni/nvidia-ai-iot/vllm:latest-jetson-thor vllm serve google/gemma-3-270m \
--port 8300 \
--max-model-len 2048 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text / 输出: Text
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
llmgoogletiny
Gemma 3 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Gemma 3 270M | 270M | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | BF16 |
| Gemma 3 4B | 4B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | BF16 |
| Gemma 3 1B | 1B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | BF16 |
| Gemma 3 27B | 27B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4 |
| Gemma 3 12B | 12B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB | NVFP4, BF16 |