返回模型列表
发布者 OpenAI 系列 GPT OSS 参数量 120B 上下文长度 32,768 tokens 许可证 Apache 2.0
GPT OSS 120B
OpenAI 开源 GPT OSS 120B 大语言模型，NVFP4 精度优化
参数量120B
模态Text
精度NVFP4
类型LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:nightly-aarch64 vllm serve openai/gpt-oss-120b \
--port 8000 \
--max-model-len 1024 \
--gpu-memory-utilization 0.9模型详情
输入和输出
输入: Text / 输出: Text
用途
- 通用推理
- 代码生成
Jetson 兼容性
Thor 128GB
标签
llmopenaiflagshipdense
GPT OSS 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| GPT OSS 120B | 120B | Thor 128GB | NVFP4 |
| GPT OSS 20B | 20B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4 |