时空云博客

本文分析了大型语言模型（LLM）微调中的学习动力学，提出了统一框架解释指令微调和偏好微调中的现象，包括幻觉增强、重复短语和“挤压效应”。通过对softmax层负梯度的影响，揭示了off-policy DPO中置信度下降的机制，并解释了on-policy DPO的优势。实验中观察到，模型在微调过程中对特定响应的概率变化，验证了“挤压效应”的存在，为提升模型对齐性能提供了理论基础和实践方法。

本文介绍了如何设置WSL在Windows开机时自动启动并在后台运行。通过在启动文件夹中添加脚本文件，利用VBS脚本实现WSL的自动启动，避免手动操作。同时，提供了在WSL意外关闭后，重新后台运行脚本的方法，确保WSL持续后台运行，提升使用便利性。

本文详细记录了在Ubuntu系统中安装RTX5060显卡驱动和CUDA的踩坑经验，包括禁用nouveau驱动、添加驱动源、安装不同版本CUDA的步骤，以及遇到的兼容性问题和解决方案，特别强调了驱动版本与CUDA版本的匹配问题。作者还分享了旧方法和新方法的区别，帮助用户避免常见错误，确保CUDA环境顺利搭建。