Hy-MT2

Hy-MT2 是腾讯混元于2026年5月开源的多语言翻译模型家族，主打多语言互译和端侧部署能力，在开源模型中性能表现突出

参数量

模态Text

类型Translation

推理引擎TensorRT Edge-LLM

Jetson 部署命令模型详情

快速部署

部署模型

Jetson 设备

推理引擎

运行命令

命令根据你的配置自动生成

mkdir -p ~/engines/Hy-MT2-7B
docker run -d --runtime=nvidia --network host --shm-size=2g \
  --name hy-mt2-7b \
  -e NVIDIA_VISIBLE_DEVICES=all \
  -e NVIDIA_DRIVER_CAPABILITIES=compute,utility \
  -e DEPLOY_ENGINE_URI=tos://ai-hub/engine_models/Hy-MT2-7B-fp8-bs4-il16384-kv65536-0.10.0-jp7.2 \
  -e TRT_INFERENCE_ENGINE_DIR=/models/engine \
  -e TRT_INFERENCE_API_PORT=8001 \
  -e TRT_INFERENCE_MAX_BATCH_SIZE=4 \
  -v ~/engines/Hy-MT2-7B:/models/engine \
  aoni-docker-cn-guangzhou.cr.volces.com/public/llm/trt-inference:0.10.0-jp7.2-tos-tc

Web API 调用示例

Shell (curl)

＃翻译
curl http://<IP>:8001/v1/chat/completions
-H "Content-Type: application/json"
-d '{
"messages": [
{"role": "user", "content": "Translate the following text into English. \n
人工智能正在深刻地改变我们的生活方式。“｝
"max_tokens": 512,
"temperature": 0.1
｝！
返回：
｛
"choices": [f"message": {"role": "assistant", "content": "Artificial intelligence is
profoundly changing our way of life."},
"finish_reason": "stop" }1,
"usage": {"prompt_tokens": 25, "completion_tokens": 12, "total_tokens": 37}
2．流式输出
curl --no-buffer http://<IP>:8001/v1/chat/completions \
-H "Content-Type: application/json"\
-d
'｛
"messages": [f"role": "user", "content": "Translate into Japanese:
"max_tokens": 256,
世界您好"｝］
"stream": true
｝'

模型详情

模型输入和输出

输入: Text / 输出: Text

参数量

推理引擎

TensorRT Edge-LLM

Jetson 兼容性

Thor 128GB