返回模型列表
发布者 Meta 系列 Llama 3.2 参数量 3B 上下文长度 131,072 tokens 许可证 Llama 3.2 Community License
Llama 3.2 3B
Meta Llama 3.2 系列 3B 小型语言模型，专为边缘和移动设备优化
参数量3B
模态Text
精度BF16
类型LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin vllm serve meta-llama/Llama-3.2-3B \
--port 8000 \
--max-model-len 4096 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text / 输出: Text
用途
- 边缘部署
- 通用推理
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
llmmetaedgesmall