时空云博客 - dgxspark vllm部署qwen3.6 35b a3b踩坑 的评论
type: channel
link: https://blog.skyw.cc/archives/576.html
description: 本文介绍了在使用huggingface量化的Qwen3.6-35B模型进行vllm部署时遇到的两个主要问题。首先，在stream推理模式下，vllm输出存在内容为空的bug，已通过codex修复...