Loading...
本文介绍了在使用huggingface量化的Qwen3.6-35B模型进行vllm部署时遇到的两个主要问题。首先,在stream推理模式下,vllm输出存在内容为空的bug,已通过codex修复。其次...
本文分析了大型语言模型(LLM)微调中的学习动力学,提出了统一框架解释指令微调和偏好微调中的现象,包括幻觉增强、重复短语和“挤压效应”。通过对softma...
本文介绍了如何使用MiniMind项目在2小时内从零开始训练一个26M参数的小型GPT模型。作者通过注释代码、理解原理并实际运行,分享了学习大模型底层原理的实践心得。
之前试过vscode的ftp插件编辑远程服务器代码,然而由于网络不稳定,通常只有香港和大陆服务器比较流程,美国服务器(即使是cn2,9929)都容易传输卡...
存储路径修改要迁移Docker数据,您需要将现有的Docker数据目录(默认情况下是 /var/lib/docker)移动到新的位置(在您提供的配置中是 /www/docker-data)。以下是迁移Docker数据的步骤:停止Docker服务:确保Docker服务已停止,以便可以安全地移动数据。systemctl stop docker备份现有数据(可选但推荐):在移动数据之前,建议备份现...