返回模型列表
发布者 Meta 系列 Llama 3.1 参数量 70B 上下文长度 131,072 tokens 许可证 Llama 3.1 Community License
Llama 3.1 70B
Meta Llama 3.1 系列 70B 大语言模型，旗舰级通用能力
参数量70B
模态Text
精度NVFP4
类型LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:nightly-aarch64 vllm serve meta-llama/Llama-3.1-70B \
--port 8000 \
--max-model-len 2048 \
--gpu-memory-utilization 0.9模型详情
输入和输出
输入: Text / 输出: Text
用途
- 通用推理
- 代码生成
- 多语言
Jetson 兼容性
Thor 128GB
标签
llmmetaflagshipdense
Llama 3.1 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Llama 3.1 70B | 70B | Thor 128GB | NVFP4 |
| Llama 3.1 8B | 8B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB | NVFP4, BF16 |