返回模型列表
发布者 Meta 系列 Llama 3.1 参数量 8B 上下文长度 131,072 tokens 许可证 Llama 3.1 Community License 推理引擎 vllm
Llama 3.1 8B
Meta Llama 3.1 系列 8B 通用语言模型，多语言支持和强大的指令遵循能力
参数量8B
模态Text
精度NVFP4 · BF16
类型LLM
推理引擎vllm
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/meta-llama/Llama-3.1-8B.tar.gz \
-e MODEL_NAME=meta-llama/Llama-3.1-8B \
-v ~/models:/models \
aoni/nvidia-ai-iot/vllm:latest-jetson-thor vllm serve meta-llama/Llama-3.1-8B \
--port 8300 \
--max-model-len 4096 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text / 输出: Text
用途
- 通用推理
- 代码生成
- 多语言
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GB
标签
llmmetageneral-purposemultilingual