Qwen3.8-27B

Unsloth 团队发布的 Qwen3.8-27B 量化版（GGUF 格式）模型卡，Apache-2.0 许可，约 1.7k 点赞。模型基于 Qwen3.5 架构演进，是开源 Qwen 家族目前最强一代：27B 参数的稠密因果语言模型，配备视觉编码器，原生支持图文与视频理解。亮点包括：灵活思维控制（思考模式默认开启、可按请求关闭，支持 reasoning_effort 调节推理深度）；更强的智能体规划与环境反馈处理能力；改进的工具调用解析；兼容 Codex 等智能体工具。存储约 16.3GB，提供多种量化档位（Q3_K、Q4_K_M、Q5_K_M、IQ4_NL、UD-Q4_K_XL 等）及 mmproj 视觉投影。

参数量17GB

模态Text, Image

精度FP16 · INT4

类型LLM

推理引擎TensorRT Edge-LLM, llama.cpp

在 HuggingFace 查看

Jetson 部署命令模型详情

快速部署

部署模型

Jetson 设备

推理引擎

部署方式

运行命令

命令根据你的配置自动生成

mkdir -p ~/engines/Qwen3.8-27B-256k-mtp-il32768-bs2
docker run -d --runtime=nvidia --gpus all --shm-size=2g --network host \
  --name qwen38-mtp-256k-bs2 \
  -v ~/engines/Qwen3.8-27B-256k-mtp-il32768-bs2:/models/engine \
  -e DEPLOY_ENGINE_URI=tos://ai-hub/engine_models/Qwen3.8-27B-256k-mtp-il32768-bs2/ \
  -e TRT_INFERENCE_API_PORT=8001 \
  -e TRT_INFERENCE_SPEC=1 \
  -e TRT_INFERENCE_DRAFT_TOP_K=1 \
  -e TRT_INFERENCE_DRAFT_STEP=3 \
  -e TRT_INFERENCE_VERIFY_TREE_SIZE=4 \
  -e TRT_INFERENCE_MAX_INPUT_LEN=32768 \
  -e TRT_INFERENCE_MAX_BATCH_SIZE=2 \
  aoni-docker-cn-guangzhou.cr.volces.com/public/llm/trt-inference:0.10.0-jp7.2-tos-tc

Web API 调用示例

Shell (curl)

#文本
  curl -N http://localhost:8001/v1/chat/completions   -H "Content-Type: application/json"   -d '{
    "model": "Qwen3.8-27B-256k-mtp-il1280",
    "messages": [{"role": "user", "content": "请一步步推理：17 乘以 23 等于多少？"}],
    "max_tokens": 256,
    "temperature": 0.7,
    "stream": true
  }'
#多模态图片
IMG=$(base64 -w0 /home/user/img.png)
cat > /tmp/mm_req.json <<EOF
{
  "model": "engine",
  "messages": [{
    "role": "user",
    "content": [
      {"type": "text", "text": "描述这张图片"},
      {"type": "image", "image": "data:image/png;base64,$IMG"}
    ]
  }],
  "max_tokens": 256
}
EOF
curl http://localhost:8002/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d @/tmp/mm_req.json

模型详情

模型输入和输出

输入: Text, Image / 输出: Text, Image

发布者

Alibaba

系列

Qwen

参数量

27B (17GB)

上下文长度

262,144 tokens

许可证

Apache 2.0

推理引擎

TensorRT Edge-LLM, llama.cpp

Jetson 兼容性

Thor 128GBOrin 64GBThor 64GB